Ngrokと同じことをするのに何が必要かというとこれだけでした。
- リモートポートフォワードでSSHする
- Nginxでフォワードされたポートをインターネットに公開するよう設定する

EC2の起動テンプレートをterraformで作り、起動テンプレから立ち上がったサーバーはあらかじめ仕込まれたユーザーデータのスクリプトで自動でNginxや必要なセットアップを行うようにしました。

## Terraform

```hcl
resource "aws_key_pair" "umihico" {
 # ２人目以降はuser_data.shから直接~/.ssh/authorized_keysに足す
 key_name = "umihico"
 public_key = "ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIFUMIHICoCb3Sy2n1qPXOxc2mFBqW9Hg0dRigxl2F3nW"
}


resource "aws_security_group" "ssh" {
 name = "self-hosted-ngrok-sg"
 vpc_id = var.vpc_id

 ingress {
 description = "allow only SSH"
 from_port = 1234
 to_port = 1234
 protocol = "tcp"
 cidr_blocks = ["0.0.0.0/0"]
 ipv6_cidr_blocks = ["::/0"]
 }

 egress {
 from_port = 0
 to_port = 0
 protocol = "-1"
 cidr_blocks = ["0.0.0.0/0"]
 ipv6_cidr_blocks = ["::/0"]
 }
}

resource "aws_launch_template" "this" {
 name = "self-hosted-ngrok"
 instance_type = "t2.micro"
 key_name = aws_key_pair.umihico.id
 image_id = "ami-0bcc04d20228d0cf6"
 user_data = filebase64("${path.module}/user_data.sh")
 network_interfaces {
 subnet_id = var.public_subnets[0]
 security_groups = [aws_security_group.ssh.id]
 }
 tag_specifications {
 resource_type = "instance"
 tags = {
 Name = "self-hosted-ngrok"
 }
 }
}
```

## user_data.sh

```bash
#!/bin/bash

# サーバー費削減のために毎朝3時に自動でstopするようにcronを追加
sudo timedatectl set-timezone Asia/Tokyo
sudo sh -c "echo '0 3 * * * root /usr/sbin/shutdown -h now' > /etc/cron.d/auto-shutdown"
sudo systemctl crond restart

# SSHポートをパブリックに公開するならデフォの22から変更して攻撃量を減らしておく
sudo sed -i -e "s/#Port 22/Port 1234/" /etc/ssh/sshd_config 
sudo systemctl restart sshd

sudo yum update -y

sudo amazon-linux-extras install nginx1 -y
sudo tee /etc/nginx/conf.d/server.conf << END
upstream tunnel {
 server 127.0.0.1:8080;
}
server {
 location = /nginx-healthcheck {
 add_header Content-Type text/html;
 return 200 '<html><body><h1>OK</h1></body></html>';
 }
 location / {
 proxy_set_header X-Real-IP \$remote_addr;
 proxy_set_header X-Forwarded-For \$proxy_add_x_forwarded_for;
 proxy_set_header Host \$http_host;
 proxy_redirect off;
 
 proxy_pass http://tunnel;
 }
}
END
sudo systemctl start nginx.service
```

Nginxサーバーが立ち上がったどうかだけ/nginx-healthcheckから確認できます。
無事にNginxが動いていれば、次に以下のSSHコマンドです。ローカルでポート3000で見えるものがEC2のパブリックDNSにも見えたら成功です。

```bash
ssh -N -p 1234 -R 8080:localhost:3000 -oStrictHostKeyChecking=no ec2-user@$DnsName
```

これのほか起動時に前回使ったstoppedなサーバーをterminateしたり、https使ったり証明書を発行したりする必要がありますが、この辺のルーティングまわりやスクリプトは各自の環境次第なので省略

Ngrokと同じことをするのに何が必要かというとこれだけでした。
<ul>
<li>リモートポートフォワードでSSHする</li>
<li>Nginxでフォワードされたポートをインターネットに公開するよう設定する</li>
</ul>
EC2の起動テンプレートをterraformで作り、起動テンプレから立ち上がったサーバーはあらかじめ仕込まれたユーザーデータのスクリプトで自動でNginxや必要なセットアップを行うようにしました。
<h2 id="terraform">Terraform</h2>
<pre><code class="hljs language-hcl">resource &quot;aws_key_pair&quot; &quot;umihico&quot; {
 # ２人目以降はuser_data.shから直接~/.ssh/authorized_keysに足す
 key_name = &quot;umihico&quot;
 public_key = &quot;ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIFUMIHICoCb3Sy2n1qPXOxc2mFBqW9Hg0dRigxl2F3nW&quot;
}


resource &quot;aws_security_group&quot; &quot;ssh&quot; {
 name = &quot;self-hosted-ngrok-sg&quot;
 vpc_id = var.vpc_id

 ingress {
 description = &quot;allow only SSH&quot;
 from_port = 1234
 to_port = 1234
 protocol = &quot;tcp&quot;
 cidr_blocks = [&quot;0.0.0.0/0&quot;]
 ipv6_cidr_blocks = [&quot;::/0&quot;]
 }

 egress {
 from_port = 0
 to_port = 0
 protocol = &quot;-1&quot;
 cidr_blocks = [&quot;0.0.0.0/0&quot;]
 ipv6_cidr_blocks = [&quot;::/0&quot;]
 }
}

resource &quot;aws_launch_template&quot; &quot;this&quot; {
 name = &quot;self-hosted-ngrok&quot;
 instance_type = &quot;t2.micro&quot;
 key_name = aws_key_pair.umihico.id
 image_id = &quot;ami-0bcc04d20228d0cf6&quot;
 user_data = filebase64(&quot;${path.module}/user_data.sh&quot;)
 network_interfaces {
 subnet_id = var.public_subnets[0]
 security_groups = [aws_security_group.ssh.id]
 }
 tag_specifications {
 resource_type = &quot;instance&quot;
 tags = {
 Name = &quot;self-hosted-ngrok&quot;
 }
 }
}
</code></pre>
<h2 id="user_datash">user_data.sh</h2>
<pre><code class="hljs language-bash">#!/bin/bash

# サーバー費削減のために毎朝3時に自動でstopするようにcronを追加
sudo timedatectl set-timezone Asia/Tokyo
sudo sh -c &quot;echo &#x27;0 3 * * * root /usr/sbin/shutdown -h now&#x27; &gt; /etc/cron.d/auto-shutdown&quot;
sudo systemctl crond restart

# SSHポートをパブリックに公開するならデフォの22から変更して攻撃量を減らしておく
sudo sed -i -e &quot;s/#Port 22/Port 1234/&quot; /etc/ssh/sshd_config 
sudo systemctl restart sshd

sudo yum update -y

sudo amazon-linux-extras install nginx1 -y
sudo tee /etc/nginx/conf.d/server.conf &lt;&lt; END
upstream tunnel {
 server 127.0.0.1:8080;
}
server {
 location = /nginx-healthcheck {
 add_header Content-Type text/html;
 return 200 &#x27;&lt;html&gt;&lt;body&gt;&lt;h1&gt;OK&lt;/h1&gt;&lt;/body&gt;&lt;/html&gt;&#x27;;
 }
 location / {
 proxy_set_header X-Real-IP \$remote_addr;
 proxy_set_header X-Forwarded-For \$proxy_add_x_forwarded_for;
 proxy_set_header Host \$http_host;
 proxy_redirect off;
 
 proxy_pass http://tunnel;
 }
}
END
sudo systemctl start nginx.service
</code></pre>
Nginxサーバーが立ち上がったどうかだけ/nginx-healthcheckから確認できます。
無事にNginxが動いていれば、次に以下のSSHコマンドです。ローカルでポート3000で見えるものがEC2のパブリックDNSにも見えたら成功です。
<pre><code class="hljs language-bash">ssh -N -p 1234 -R 8080:localhost:3000 -oStrictHostKeyChecking=no ec2-user@$DnsName
</code></pre>
これのほか起動時に前回使ったstoppedなサーバーをterminateしたり、https使ったり証明書を発行したりする必要がありますが、この辺のルーティングまわりやスクリプトは各自の環境次第なので省略

自家製ngrokの作り方

ECSのアプリがRDSのDBにつながらない事態が発生し、どうも解決できないのでEC2を同じVPCに立ててRDSに接続できるか確かめてみることにしました。再利用できるようにメモ

カスタムした点として以下を入れてます

- 256GBの保存容量
- docker, docker-compose
- MySQL Client

tfファイルはこちらです。

```hcl
terraform {
 backend "local" {
 path = "terraform.tfstate"
 }
}

provider "aws" {
 region = "ap-northeast-1"
}

variable "vpc_id" { type = string } # TF_VAR_vpc_id
variable "subnet_id" { type = string } # TF_VAR_subnet_id
variable "my_ip" { type = string } # TF_VAR_my_ip
variable "security_group_id" { type = string } # TF_VAR_security_group_id

resource "random_integer" "priority" {
 min = 1000000
 max = 10000000
}

resource "aws_security_group" "temp" {
 name = "temp${random_integer.priority.result}"
 vpc_id = var.vpc_id

 ingress {
 description = "allow from home"
 from_port = 0
 to_port = 0
 protocol = "-1"
 cidr_blocks = ["${var.my_ip}/32"]
 }

 egress {
 from_port = 0
 to_port = 0
 protocol = "-1"
 cidr_blocks = ["0.0.0.0/0"]
 ipv6_cidr_blocks = ["::/0"]
 }
}

resource "aws_iam_role" "temp_role" {
 name = "temp_role${random_integer.priority.result}"
 assume_role_policy = jsonencode({
 "Version" : "2012-10-17"
 "Statement" : [
 {
 "Action" : "sts:AssumeRole"
 "Effect" : "Allow"
 "Principal" : {
 "Service" : ["ec2.amazonaws.com"]
 },
 },
 ]
 })
 managed_policy_arns = [
 "arn:aws:iam::aws:policy/AmazonSSMManagedInstanceCore",
 "arn:aws:iam::aws:policy/PowerUserAccess",
 ]
}


resource "aws_iam_instance_profile" "temp" {
 name = "temp_role_profile${random_integer.priority.result}"
 role = aws_iam_role.temp_role.name
}

resource "aws_instance" "temp" {
 ami = "ami-0bcc04d20228d0cf6"
 vpc_security_group_ids = concat([aws_security_group.temp.id], length(var.security_group_id) > 0 ? [var.security_group_id] : [])
 subnet_id = var.subnet_id
 key_name = aws_key_pair.umihico.id
 instance_type = "t2.micro"
 iam_instance_profile = "temp_role_profile${random_integer.priority.result}"
 associate_public_ip_address = true

 root_block_device {
 delete_on_termination = true
 encrypted = false
 volume_size = 256 # default is 8
 volume_type = "gp2"
 }
 user_data = <<-EOF
 #!/bin/bash

 sudo yum update -y
 sudo yum groupinstall "Development Tools" -y

 # docker
 sudo yum install -y docker
 sudo systemctl start docker
 sudo usermod -a -G docker ec2-user
 sudo systemctl enable docker
 sudo chmod 666 /var/run/docker.sock

 # docker-compose
 sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
 sudo chmod +x /usr/local/bin/docker-compose
 
 # mysql client(5.7)
 sudo yum localinstall https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm -y
 sudo yum-config-manager --disable mysql80-community
 sudo yum-config-manager --enable mysql57-community
 sudo rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022
 sudo yum install mysql-community-client -y
 EOF
}

resource "aws_key_pair" "umihico" {
 # https://github.com/umihico.keys
 key_name = "umihico${random_integer.priority.result}"
 public_key = "ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIFUMIHICoCb3Sy2n1qPXOxc2mFBqW9Hg0dRigxl2F3nW"
}

output "temp" {
 value = {
 instance : aws_instance.temp
 }
}

```

applyするときのスクリプト

```bash
#!/bin/bash
set -euoxv pipefail

OUTPUT=$(aws ec2 describe-subnets --filters "Name=tag:Name,Values=hoge-vpc-private-ap-northeast-1a")

export TF_VAR_vpc_id=$(echo $OUTPUT | jq -r ".Subnets[0].VpcId")
export TF_VAR_subnet_id=$(echo $OUTPUT | jq -r ".Subnets[0].SubnetId")
export TF_VAR_security_group_id=
export TF_VAR_my_ip=$(curl -s http://checkip.amazonaws.com)

cd $(dirname $0)

terraform init
terraform apply -auto-approve
OUTPUT=$(terraform output -json)
PUBLIC_DNS=$(echo $OUTPUT | jq -r ".temp.value.instance.public_dns")
INSTANCE_ID=$(echo $OUTPUT | jq -r ".temp.value.instance.id")
echo ssh ec2-user@${PUBLIC_DNS}
echo aws ssm start-session --target ${INSTANCE_ID}
# terraform destroy -auto-approve
```

sshで入ってdumpしたりするコマンド
```bash

export DATABASE_USER=
export PORT=
export DATABASE_NAME=
export MYSQL_PWD=
export DATABASE_HOST=

# dump
mysqldump -u $DATABASE_USER -h $DATABASE_HOST -P $PORT --set-gtid-purged=OFF $DATABASE_NAME > dump.sql

# import
cat dump.sql | mysql -u $DATABASE_USER -P $PORT --password=$MYSQL_PWD -h $DATABASE_HOST $DATABASE_NAME
```

ECSのアプリがRDSのDBにつながらない事態が発生し、どうも解決できないのでEC2を同じVPCに立ててRDSに接続できるか確かめてみることにしました。再利用できるようにメモ
カスタムした点として以下を入れてます
<ul>
<li>256GBの保存容量</li>
<li>docker, docker-compose</li>
<li>MySQL Client</li>
</ul>
tfファイルはこちらです。
<pre><code class="hljs language-hcl">terraform {
 backend &quot;local&quot; {
 path = &quot;terraform.tfstate&quot;
 }
}

provider &quot;aws&quot; {
 region = &quot;ap-northeast-1&quot;
}

variable &quot;vpc_id&quot; { type = string } # TF_VAR_vpc_id
variable &quot;subnet_id&quot; { type = string } # TF_VAR_subnet_id
variable &quot;my_ip&quot; { type = string } # TF_VAR_my_ip
variable &quot;security_group_id&quot; { type = string } # TF_VAR_security_group_id

resource &quot;random_integer&quot; &quot;priority&quot; {
 min = 1000000
 max = 10000000
}

resource &quot;aws_security_group&quot; &quot;temp&quot; {
 name = &quot;temp${random_integer.priority.result}&quot;
 vpc_id = var.vpc_id

 ingress {
 description = &quot;allow from home&quot;
 from_port = 0
 to_port = 0
 protocol = &quot;-1&quot;
 cidr_blocks = [&quot;${var.my_ip}/32&quot;]
 }

 egress {
 from_port = 0
 to_port = 0
 protocol = &quot;-1&quot;
 cidr_blocks = [&quot;0.0.0.0/0&quot;]
 ipv6_cidr_blocks = [&quot;::/0&quot;]
 }
}

resource &quot;aws_iam_role&quot; &quot;temp_role&quot; {
 name = &quot;temp_role${random_integer.priority.result}&quot;
 assume_role_policy = jsonencode({
 &quot;Version&quot; : &quot;2012-10-17&quot;
 &quot;Statement&quot; : [
 {
 &quot;Action&quot; : &quot;sts:AssumeRole&quot;
 &quot;Effect&quot; : &quot;Allow&quot;
 &quot;Principal&quot; : {
 &quot;Service&quot; : [&quot;ec2.amazonaws.com&quot;]
 },
 },
 ]
 })
 managed_policy_arns = [
 &quot;arn:aws:iam::aws:policy/AmazonSSMManagedInstanceCore&quot;,
 &quot;arn:aws:iam::aws:policy/PowerUserAccess&quot;,
 ]
}


resource &quot;aws_iam_instance_profile&quot; &quot;temp&quot; {
 name = &quot;temp_role_profile${random_integer.priority.result}&quot;
 role = aws_iam_role.temp_role.name
}

resource &quot;aws_instance&quot; &quot;temp&quot; {
 ami = &quot;ami-0bcc04d20228d0cf6&quot;
 vpc_security_group_ids = concat([aws_security_group.temp.id], length(var.security_group_id) &gt; 0 ? [var.security_group_id] : [])
 subnet_id = var.subnet_id
 key_name = aws_key_pair.umihico.id
 instance_type = &quot;t2.micro&quot;
 iam_instance_profile = &quot;temp_role_profile${random_integer.priority.result}&quot;
 associate_public_ip_address = true

 root_block_device {
 delete_on_termination = true
 encrypted = false
 volume_size = 256 # default is 8
 volume_type = &quot;gp2&quot;
 }
 user_data = &lt;&lt;-EOF
 #!/bin/bash

 sudo yum update -y
 sudo yum groupinstall &quot;Development Tools&quot; -y

 # docker
 sudo yum install -y docker
 sudo systemctl start docker
 sudo usermod -a -G docker ec2-user
 sudo systemctl enable docker
 sudo chmod 666 /var/run/docker.sock

 # docker-compose
 sudo curl -L &quot;https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)&quot; -o /usr/local/bin/docker-compose
 sudo chmod +x /usr/local/bin/docker-compose
 
 # mysql client(5.7)
 sudo yum localinstall https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm -y
 sudo yum-config-manager --disable mysql80-community
 sudo yum-config-manager --enable mysql57-community
 sudo rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022
 sudo yum install mysql-community-client -y
 EOF
}

resource &quot;aws_key_pair&quot; &quot;umihico&quot; {
 # https://github.com/umihico.keys
 key_name = &quot;umihico${random_integer.priority.result}&quot;
 public_key = &quot;ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIFUMIHICoCb3Sy2n1qPXOxc2mFBqW9Hg0dRigxl2F3nW&quot;
}

output &quot;temp&quot; {
 value = {
 instance : aws_instance.temp
 }
}
</code></pre>
applyするときのスクリプト
<pre><code class="hljs language-bash">#!/bin/bash
set -euoxv pipefail

OUTPUT=$(aws ec2 describe-subnets --filters &quot;Name=tag:Name,Values=hoge-vpc-private-ap-northeast-1a&quot;)

export TF_VAR_vpc_id=$(echo $OUTPUT | jq -r &quot;.Subnets[0].VpcId&quot;)
export TF_VAR_subnet_id=$(echo $OUTPUT | jq -r &quot;.Subnets[0].SubnetId&quot;)
export TF_VAR_security_group_id=
export TF_VAR_my_ip=$(curl -s http://checkip.amazonaws.com)

cd $(dirname $0)

terraform init
terraform apply -auto-approve
OUTPUT=$(terraform output -json)
PUBLIC_DNS=$(echo $OUTPUT | jq -r &quot;.temp.value.instance.public_dns&quot;)
INSTANCE_ID=$(echo $OUTPUT | jq -r &quot;.temp.value.instance.id&quot;)
echo ssh ec2-user@${PUBLIC_DNS}
echo aws ssm start-session --target ${INSTANCE_ID}
# terraform destroy -auto-approve
</code></pre>
sshで入ってdumpしたりするコマンド
<pre><code class="hljs language-bash">
export DATABASE_USER=
export PORT=
export DATABASE_NAME=
export MYSQL_PWD=
export DATABASE_HOST=

# dump
mysqldump -u $DATABASE_USER -h $DATABASE_HOST -P $PORT --set-gtid-purged=OFF $DATABASE_NAME &gt; dump.sql

# import
cat dump.sql | mysql -u $DATABASE_USER -P $PORT --password=$MYSQL_PWD -h $DATABASE_HOST $DATABASE_NAME
</code></pre>

調査用のEC2をサクッと立ち上げるterraformスニペット

LambdaでRailsを動かしてマイグレーションすれば、コストもかからず、かつ秒で終わるので高速だった。高速化したい・CIにマイグレーション乗せたい・ECS使いたくない・RDSがプライベートサブネットにあって常時起動してる踏み台がないパターン向け

## マイグレーション専用イメージを作る

初期パターンとして、App Runner（またはECS）に乗せる本番イメージに`bootstrap`などを手書きしてLambda対応もさせる案を導入した。しかし[このドキュメント](https://docs.aws.amazon.com/lambda/latest/dg/runtimes-walkthrough.html)のみならず[エラー時のレスポンスを返すパターンを作らないといけなかったり](https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/runtimes-api.html#runtimes-api-next)、やはりフル自作は完成度が低くなりがちになった。最大の問題点は本番イメージを流用するとなるとイメージの更新も関数実行前に都度行うべきになってしまうことで、そうなると＋３０秒くらい余計にかかり時間が倍増するので魅力も落ちる。専用のイメージを作って、[aws_lambda_ric](https://github.com/aws/aws-lambda-ruby-runtime-interface-client)を使う感じにしたい

必要なファイルはDockerfileとdatabase.ymlとapp.rbの３つのみ。database.ymlはデフォではなく環境変数参照に変更したかっただけのため省略する。Dockerfile内でrails newして資材を展開している

### Dockerfile

```Dockerfile
FROM ruby:3.1.1-slim

ENV APP_ROOT /var/task
ENV RAILS_ROOT $APP_ROOT
ENV RAILS_ENV production
ENV RACK_ENV $RAILS_ENV

WORKDIR $APP_ROOT

RUN apt-get update -y && \
 apt-get install -y \
 build-essential \
 default-mysql-client \
 libmariadb-dev \
 curl && \
 gem update --system && \
 gem install rails && \
 rails new . \
 --database=mysql \
 --skip-yarn \
 --skip-git \
 --skip-action-mailer \
 --skip-active-storage \
 --skip-action-cable \
 --skip-sprockets \
 --skip-javascript \
 --skip-turbolinks \
 --skip-test \
 --api && \
 bundle add aws-sdk-kms aws_lambda_ric

COPY database.yml config/
COPY app.rb ./

RUN chmod 644 config/master.key

# Lamdba上で上書きされるが、ローカル開発でマイグレーション役もさせてるので書いてる
CMD [ "bundle", "exec", "rails", "db:migrate" ]
```

### app.rb

```ruby
require_relative 'config/application'
require 'base64'
require 'fileutils'
require 'securerandom'

module App
 class Handler
 def self.process(event:, context:)

 # コンテナが再利用されると以前書き込んだマイグレーションファイルが影響する可能性があるので都度ランダムに
 directory_name = "/tmp/#{SecureRandom.urlsafe_base64(10)}/db"
 FileUtils.mkdir_p "#{directory_name}/migrate"

 # シリアライズされたファイルのデータを受け取って書き込み
 event.each do |path, content|
 File.open("#{directory_name}/#{path}", 'w') { |f| f.write(Base64.decode64(content)) }
 end

 Rails.application.load_tasks

 # Lambdaの環境変数に生パスワードを書きたくなかったので暗号化状態で受け取っており復号化
 if ENV['DATABASE_PASSWORD_ENCRYPTED'].present?
 response = Aws::KMS::Client.new.decrypt ciphertext_blob: Base64.decode64(ENV.fetch('DATABASE_PASSWORD_ENCRYPTED'))
 ENV['DATABASE_PASSWORD'] = response.plaintext
 end

 # /tmp配下しか書き込み不可のため変更する必要あり
 Rails.application.config.paths['db'] = directory_name
 Rails.application.config.paths['db/migrate'] = "#{directory_name}/migrate"

 # コンテナが再利用されるとreenableしないとinvokeが起動してくれない
 Rake::Task['db:migrate'].reenable
 Rake::Task['db:migrate'].invoke
 end
 end
end
```

## Lambda関数のデプロイ

Terraformを使いました。`var.`はてきとうです。

```hcl
module "migration" {
 source = "terraform-aws-modules/lambda/aws"

 function_name = "migrator"
 create_package = false

 image_uri = "${var.repository_url}:latest"
 package_type = "Image"

 timeout = 60

 vpc_subnet_ids = var.private_subnets
 vpc_security_group_ids = [var.default_security_group_id]
 attach_network_policy = true

 image_config_entry_point = ["/usr/local/bundle/bin/aws_lambda_ric"]
 image_config_command = ["app.App::Handler.process"]

 environment_variables = {
 "RAILS_LOG_TO_STDOUT" = "enabled"
 "DATABASE_HOST" = var.this_rds_cluster_endpoint
 "DATABASE_NAME" = var.database_name
 "DATABASE_PASSWORD_ENCRYPTED" = var.database_master_password_encrypted
 }

 attach_policy_statements = true
 policy_statements = [
 {
 effect = "Allow"
 actions = ["kms:Decrypt"]
 resources = [var.kms_key.arn]
 },
 {
 effect = "Allow"
 actions = [
 "ecr:BatchGetImage",
 "ecr:GetDownloadUrlForLayer",
 ]
 resources = [var.ecr_repository_arn]
 },
 ]
}
```

## CircleCIからLambdaを起動する

マイグレーションファイルを収集するスクリプト、amazon/aws-cliはpython2がネイティブで動いたのでpythonでコードを書きました。そしてamazon/aws-cliは使わなかったっていう（後述）

### .circleci/config.yml(一部抜粋)

```yml
jobs:
 migrate:
 docker:
 - image: cimg/python:3.10.4
 environment:
 PAGER: ""
 working_directory: ~/projects/db
 steps:
 - checkout:
 path: ..
 - run:
 name: Install aws-cli
 command: |
 curl -s "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
 unzip -q awscliv2.zip
 sudo ./aws/install
 - run:
 name: Run migration in AWS Lambda
 command: |
 PAYLOAD=$(python payload.py migrate)
 aws lambda invoke --function-name migrator --payload $PAYLOAD result.txt
 cat result.txt
 cat result.txt | grep -v errorMessage > /dev/null
```


### payload.py

```python
import os
import json
import base64
import sys

path = sys.argv[1]
filenames = os.listdir(path)

data = {}
for filename in filenames:
 with open(os.path.join(path, filename), "r") as f:
 data['migrate/' +
 filename] = base64.b64encode(f.read().encode("utf-8")).decode('utf-8')

print(base64.b64encode(json.dumps(data).encode("utf-8")).decode('utf-8'))
```

## 実行結果

19秒でマイグレーションジョブを完了することができました:tada:

- CircleCIの環境構築2秒
- aws-cliインストール2秒
- マイグレーション14秒

おそらくコールドスタートで6秒くらいとマイグレーションで8秒くらいのはず

<img width="587" src="https://user-images.githubusercontent.com/39179585/162106271-e2c45d4e-3239-4366-a63d-49c7ee79e09b.png">

## 直面した問題点たち

- amazon/aws-cliイメージをCIで使って、CLIのインストール時間(2〜4秒)を削りたい 
 →gitやtarなど基本的なライブラリがなくCircleCIの`checkout`ができない。諦める
- [公式Lambda用Rubyイメージ](https://gallery.ecr.aws/lambda/ruby)は2.5と2.7しかない 
 →ruby:slimに手作業でaws_lambda_ricいれた
- マイグレーションファイル群を一括でLambdaコンテナに転送したいが[AWSのSDK](https://docs.aws.amazon.com/sdk-for-ruby/v2/api/Aws/S3/Client.html)に[`aws s3 sync`相当のものがない](https://github.com/aws/aws-sdk-ruby/issues/824)のでファイル一個ずつダウンロードする形になる 
 →S3経由で受け渡しせずLambda実行時の--payload引数にファイル群をシリアライズして渡した。zipやtarを使い１つのファイルとして受け渡せばよいが、利用予定だったamazon/aws-cliではzipもtarも無かったため
- Dockerイメージ内にconfig/master.keyあり 
 →除外して環境変数から与えることもできなくないが、用途としては内包してても問題ないのでとりあえず放置

## References

- https://qiita.com/shifumin/items/f4f4ea68d9963dbe9ca2

LambdaでRailsを動かしてマイグレーションすれば、コストもかからず、かつ秒で終わるので高速だった。高速化したい・CIにマイグレーション乗せたい・ECS使いたくない・RDSがプライベートサブネットにあって常時起動してる踏み台がないパターン向け
<h2 id="マイグレーション専用イメージを作る">マイグレーション専用イメージを作る</h2>
初期パターンとして、App Runner（またはECS）に乗せる本番イメージに<code>bootstrap</code>などを手書きしてLambda対応もさせる案を導入した。しかし<a href="https://docs.aws.amazon.com/lambda/latest/dg/runtimes-walkthrough.html">このドキュメント</a>のみならず<a href="https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/runtimes-api.html#runtimes-api-next">エラー時のレスポンスを返すパターンを作らないといけなかったり</a>、やはりフル自作は完成度が低くなりがちになった。最大の問題点は本番イメージを流用するとなるとイメージの更新も関数実行前に都度行うべきになってしまうことで、そうなると＋３０秒くらい余計にかかり時間が倍増するので魅力も落ちる。専用のイメージを作って、<a href="https://github.com/aws/aws-lambda-ruby-runtime-interface-client">aws_lambda_ric</a>を使う感じにしたい
必要なファイルはDockerfileとdatabase.ymlとapp.rbの３つのみ。database.ymlはデフォではなく環境変数参照に変更したかっただけのため省略する。Dockerfile内でrails newして資材を展開している
<h3 id="dockerfile">Dockerfile</h3>
<pre><code class="hljs language-Dockerfile">FROM ruby:3.1.1-slim

ENV APP_ROOT /var/task
ENV RAILS_ROOT $APP_ROOT
ENV RAILS_ENV production
ENV RACK_ENV $RAILS_ENV

WORKDIR $APP_ROOT

RUN apt-get update -y &amp;&amp; \
 apt-get install -y \
 build-essential \
 default-mysql-client \
 libmariadb-dev \
 curl &amp;&amp; \
 gem update --system &amp;&amp; \
 gem install rails &amp;&amp; \
 rails new . \
 --database=mysql \
 --skip-yarn \
 --skip-git \
 --skip-action-mailer \
 --skip-active-storage \
 --skip-action-cable \
 --skip-sprockets \
 --skip-javascript \
 --skip-turbolinks \
 --skip-test \
 --api &amp;&amp; \
 bundle add aws-sdk-kms aws_lambda_ric

COPY database.yml config/
COPY app.rb ./

RUN chmod 644 config/master.key

# Lamdba上で上書きされるが、ローカル開発でマイグレーション役もさせてるので書いてる
CMD [ &quot;bundle&quot;, &quot;exec&quot;, &quot;rails&quot;, &quot;db:migrate&quot; ]
</code></pre>
<h3 id="apprb">app.rb</h3>
<pre><code class="hljs language-ruby">require_relative &#x27;config/application&#x27;
require &#x27;base64&#x27;
require &#x27;fileutils&#x27;
require &#x27;securerandom&#x27;

module App
 class Handler
 def self.process(event:, context:)

 # コンテナが再利用されると以前書き込んだマイグレーションファイルが影響する可能性があるので都度ランダムに
 directory_name = &quot;/tmp/#{SecureRandom.urlsafe_base64(10)}/db&quot;
 FileUtils.mkdir_p &quot;#{directory_name}/migrate&quot;

 # シリアライズされたファイルのデータを受け取って書き込み
 event.each do |path, content|
 File.open(&quot;#{directory_name}/#{path}&quot;, &#x27;w&#x27;) { |f| f.write(Base64.decode64(content)) }
 end

 Rails.application.load_tasks

 # Lambdaの環境変数に生パスワードを書きたくなかったので暗号化状態で受け取っており復号化
 if ENV[&#x27;DATABASE_PASSWORD_ENCRYPTED&#x27;].present?
 response = Aws::KMS::Client.new.decrypt ciphertext_blob: Base64.decode64(ENV.fetch(&#x27;DATABASE_PASSWORD_ENCRYPTED&#x27;))
 ENV[&#x27;DATABASE_PASSWORD&#x27;] = response.plaintext
 end

 # /tmp配下しか書き込み不可のため変更する必要あり
 Rails.application.config.paths[&#x27;db&#x27;] = directory_name
 Rails.application.config.paths[&#x27;db/migrate&#x27;] = &quot;#{directory_name}/migrate&quot;

 # コンテナが再利用されるとreenableしないとinvokeが起動してくれない
 Rake::Task[&#x27;db:migrate&#x27;].reenable
 Rake::Task[&#x27;db:migrate&#x27;].invoke
 end
 end
end
</code></pre>
<h2 id="lambda関数のデプロイ">Lambda関数のデプロイ</h2>
Terraformを使いました。<code>var.</code>はてきとうです。
<pre><code class="hljs language-hcl">module &quot;migration&quot; {
 source = &quot;terraform-aws-modules/lambda/aws&quot;

 function_name = &quot;migrator&quot;
 create_package = false

 image_uri = &quot;${var.repository_url}:latest&quot;
 package_type = &quot;Image&quot;

 timeout = 60

 vpc_subnet_ids = var.private_subnets
 vpc_security_group_ids = [var.default_security_group_id]
 attach_network_policy = true

 image_config_entry_point = [&quot;/usr/local/bundle/bin/aws_lambda_ric&quot;]
 image_config_command = [&quot;app.App::Handler.process&quot;]

 environment_variables = {
 &quot;RAILS_LOG_TO_STDOUT&quot; = &quot;enabled&quot;
 &quot;DATABASE_HOST&quot; = var.this_rds_cluster_endpoint
 &quot;DATABASE_NAME&quot; = var.database_name
 &quot;DATABASE_PASSWORD_ENCRYPTED&quot; = var.database_master_password_encrypted
 }

 attach_policy_statements = true
 policy_statements = [
 {
 effect = &quot;Allow&quot;
 actions = [&quot;kms:Decrypt&quot;]
 resources = [var.kms_key.arn]
 },
 {
 effect = &quot;Allow&quot;
 actions = [
 &quot;ecr:BatchGetImage&quot;,
 &quot;ecr:GetDownloadUrlForLayer&quot;,
 ]
 resources = [var.ecr_repository_arn]
 },
 ]
}
</code></pre>
<h2 id="circleciからlambdaを起動する">CircleCIからLambdaを起動する</h2>
マイグレーションファイルを収集するスクリプト、amazon/aws-cliはpython2がネイティブで動いたのでpythonでコードを書きました。そしてamazon/aws-cliは使わなかったっていう（後述）
<h3 id="circleciconfigyml一部抜粋">.circleci/config.yml(一部抜粋)</h3>
<pre><code class="hljs language-yml">jobs:
 migrate:
 docker:
 - image: cimg/python:3.10.4
 environment:
 PAGER: &quot;&quot;
 working_directory: ~/projects/db
 steps:
 - checkout:
 path: ..
 - run:
 name: Install aws-cli
 command: |
 curl -s &quot;https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip&quot; -o &quot;awscliv2.zip&quot;
 unzip -q awscliv2.zip
 sudo ./aws/install
 - run:
 name: Run migration in AWS Lambda
 command: |
 PAYLOAD=$(python payload.py migrate)
 aws lambda invoke --function-name migrator --payload $PAYLOAD result.txt
 cat result.txt
 cat result.txt | grep -v errorMessage &gt; /dev/null
</code></pre>
<h3 id="payloadpy">payload.py</h3>
<pre><code class="hljs language-python">import os
import json
import base64
import sys

path = sys.argv[1]
filenames = os.listdir(path)

data = {}
for filename in filenames:
 with open(os.path.join(path, filename), &quot;r&quot;) as f:
 data[&#x27;migrate/&#x27; +
 filename] = base64.b64encode(f.read().encode(&quot;utf-8&quot;)).decode(&#x27;utf-8&#x27;)

print(base64.b64encode(json.dumps(data).encode(&quot;utf-8&quot;)).decode(&#x27;utf-8&#x27;))
</code></pre>
<h2 id="実行結果">実行結果</h2>
19秒でマイグレーションジョブを完了することができました:tada:
<ul>
<li>CircleCIの環境構築2秒</li>
<li>aws-cliインストール2秒</li>
<li>マイグレーション14秒</li>
</ul>
おそらくコールドスタートで6秒くらいとマイグレーションで8秒くらいのはず
<img width="587" src="https://user-images.githubusercontent.com/39179585/162106271-e2c45d4e-3239-4366-a63d-49c7ee79e09b.png">

<h2 id="直面した問題点たち">直面した問題点たち</h2>
<ul>
<li>amazon/aws-cliイメージをCIで使って、CLIのインストール時間(2〜4秒)を削りたい →gitやtarなど基本的なライブラリがなくCircleCIの<code>checkout</code>ができない。諦める</li>
<li><a href="https://gallery.ecr.aws/lambda/ruby">公式Lambda用Rubyイメージ</a>は2.5と2.7しかない →ruby:slimに手作業でaws_lambda_ricいれた</li>
<li>マイグレーションファイル群を一括でLambdaコンテナに転送したいが<a href="https://docs.aws.amazon.com/sdk-for-ruby/v2/api/Aws/S3/Client.html">AWSのSDK</a>に<a href="https://github.com/aws/aws-sdk-ruby/issues/824"><code>aws s3 sync</code>相当のものがない</a>のでファイル一個ずつダウンロードする形になる →S3経由で受け渡しせずLambda実行時の--payload引数にファイル群をシリアライズして渡した。zipやtarを使い１つのファイルとして受け渡せばよいが、利用予定だったamazon/aws-cliではzipもtarも無かったため</li>
<li>Dockerイメージ内にconfig/master.keyあり →除外して環境変数から与えることもできなくないが、用途としては内包してても問題ないのでとりあえず放置</li>
</ul>
<h2 id="references">References</h2>
<ul>
<li><a href="https://qiita.com/shifumin/items/f4f4ea68d9963dbe9ca2">https://qiita.com/shifumin/items/f4f4ea68d9963dbe9ca2</a></li>
</ul>

AWS LambdaでRailsのマイグレーションを秒殺する基盤を作った




別の新規プロジェクトに既存のTerraform資産を流用した時に、App RunnerとECRを一発で同時デプロイすることになりましたが、そうなると当然ECRのレポジトリは空なので失敗するわけで、次回スムーズに流用できる方法がないか試行錯誤しました

## 先に健全な解決案

もちろん、モジュール単位で先にECRだけapplyして、pushしてイメージを作ってからApp Runnerを作ればよい。しかしCIからデプロイする縛りを逸したくなかった、かつCI上でモジュール単位のデプロイを構築するのは手間なため、あえて色々やってみました

## ダミーのパブリックECRを参照して一旦applyする作戦

**失敗。**  
どうやら`aws_apprunner_service`の`image_repository_type`の値`ECR_PUBLIC`と`ECR`を途中で切り替えするのは不可のため。Terraformからやっても`aws apprunner update-service`叩いても同じ。以下のエラーをゲットする。不便なだけだし、いつか修正されるかも？

> An error occurred (InvalidRequestException) when calling the UpdateService operation: The image repository type cannot be changed in UpdateService request

## 存在しないタグを指定してapplyする作戦

**失敗。**  
Terraformのタイムアウトのようで、以下のエラーをゲットする。

> aws_apprunner_service.this: Still creating... [12m40s elapsed]  
Error: error waiting for App Runner Service (arn:aws:apprunner:ap-northeast-1:*********:service/dev-app/hogehoge) creation: unexpected state 'CREATE_FAILED', wanted target 'RUNNING'. 

## 存在しないタグを指定してapplyしてその間にそのタグでpushする作戦

**成功。**  
上の作戦でハングする時間が長いので、加えてその間にpushして存在させてしまう作戦を試みところうまくいった。インフラ構築時はイメージを問わないので、以下のようにヘルスチェックをパスできるイメージならなんでもよいからローカルからpushする。（結局CI使ってないという）

```bash
export DOCKER_DEFAULT_PLATFORM=linux/amd64
aws ecr get-login-password --region $REGION | docker login --username AWS --password-stdin $ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com
docker pull kennethreitz/http
docker tag kennethreitz/httpbin $ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com/dev-app-runner:httpbin
docker push $ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com/dev-app-runner:httpbin
```


別の新規プロジェクトに既存のTerraform資産を流用した時に、App RunnerとECRを一発で同時デプロイすることになりましたが、そうなると当然ECRのレポジトリは空なので失敗するわけで、次回スムーズに流用できる方法がないか試行錯誤しました
<h2 id="先に健全な解決案">先に健全な解決案</h2>
もちろん、モジュール単位で先にECRだけapplyして、pushしてイメージを作ってからApp Runnerを作ればよい。しかしCIからデプロイする縛りを逸したくなかった、かつCI上でモジュール単位のデプロイを構築するのは手間なため、あえて色々やってみました
<h2 id="ダミーのパブリックecrを参照して一旦applyする作戦">ダミーのパブリックECRを参照して一旦applyする作戦</h2>
失敗。 どうやら<code>aws_apprunner_service</code>の<code>image_repository_type</code>の値<code>ECR_PUBLIC</code>と<code>ECR</code>を途中で切り替えするのは不可のため。Terraformからやっても<code>aws apprunner update-service</code>叩いても同じ。以下のエラーをゲットする。不便なだけだし、いつか修正されるかも？
<blockquote>
An error occurred (InvalidRequestException) when calling the UpdateService operation: The image repository type cannot be changed in UpdateService request
</blockquote>
<h2 id="存在しないタグを指定してapplyする作戦">存在しないタグを指定してapplyする作戦</h2>
失敗。 Terraformのタイムアウトのようで、以下のエラーをゲットする。
<blockquote>
aws_apprunner_service.this: Still creating... [12m40s elapsed] Error: error waiting for App Runner Service (arn:aws:apprunner:ap-northeast-1:*********:service/dev-app/hogehoge) creation: unexpected state &#39;CREATE_FAILED&#39;, wanted target &#39;RUNNING&#39;. 
</blockquote>
<h2 id="存在しないタグを指定してapplyしてその間にそのタグでpushする作戦">存在しないタグを指定してapplyしてその間にそのタグでpushする作戦</h2>
成功。 上の作戦でハングする時間が長いので、加えてその間にpushして存在させてしまう作戦を試みところうまくいった。インフラ構築時はイメージを問わないので、以下のようにヘルスチェックをパスできるイメージならなんでもよいからローカルからpushする。（結局CI使ってないという）
<pre><code class="hljs language-bash">export DOCKER_DEFAULT_PLATFORM=linux/amd64
aws ecr get-login-password --region $REGION | docker login --username AWS --password-stdin $ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com
docker pull kennethreitz/http
docker tag kennethreitz/httpbin $ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com/dev-app-runner:httpbin
docker push $ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com/dev-app-runner:httpbin
</code></pre>

UMIHICO BLOG.

#Terraform

自家製ngrokの作り方

調査用のEC2をサクッと立ち上げるterraformスニペット

AWS LambdaでRailsのマイグレーションを秒殺する基盤を作った

Terraformで空のECRレポジトリを参照するApp Runnerをapplyしたくて辛かった話