Web系の開発現場ではインフラにクラウドを採用する事例が多くなっています。

AWSを学びたいんだけど、どうやって勉強したらいいんだろう？

この記事では上記の疑問にお答えするために、

UdemyでAWSが学べるオススメ講座3選を紹介します。

上記の観点で教材を探している方は、ぜひ参考にしてみてください！

いっちー

Udemyは動画でAWSが学べるため視覚的に理解しやすく、

1つの授業も約10〜20分と細かく区切られており、

コツコツ継続して学びやすいです！

Udemyとは？

Udemyとは、世界最大のオンライン学習プラットフォームです。

10万を超えるオンライン講座が登録されており、プログラミングやデザインなどさまざまな分野のカリキュラムを動画で学べます。

動画カリキュラムなので本と比べて視覚的に理解しやすく、

さらに返金保証があるため安心してコースを買うことができます！

ゼロから実践するAmazon Web Services。手を動かしながらインフラの基礎を習得

Webエンジニアの山浦清透さんが講師を務めるこの講座では、

を学びます。

実際にWordPressでブログシステムを作りながら主要AWSサービスの使い方を学ぶことで、

より実践的な知識が身に付きます。

>> 詳細をUdemyで確認する <<

米シリコンバレーDevOps監修！超AWS完全入門+本番運用向け上級編ベストプラクティスとTerraform

この講座ではAWS超初心者の方を対象に、

クラウドの特徴やAWSのコアサービス（IAM、VPC、EC2など）をハンズオンで知識とスキルを身に着けます。

またKMSを使ってEC2のEBSボリュームを暗号化するなどの

本番運用ベストプラクティスも講座内で学べるので、

業務に活かせる実践的な講座をお探しの方におすすめです。

>> 詳細をUdemyで確認する <<

AWSで作るWEBアプリケーション 実践講座

エンジニアの津郷さんが講師を務めるこの講座では、実際にWebアプリを組み上げてAWSで構築することで、

などの悩みを解消します。

講座内では、AWS上に実業務を想定したWebアプリケーション（Node.js + MySQL）の構築を

ハンズオン形式で行います。

講座内で料金アラート設定を学び実際にアラートを入れていくので、

AWS使用の際に料金面で不安がある方にオススメです。

>> 詳細をUdemyで確認する <<

さいごに

この記事ではUdemyでAWSが学べるオススメ講座3選というテーマでお伝えしました。

Udemyは合計で10万本以上の講座が登録されており、この記事では紹介しきれなかったAWSの講座が他にもあります。

読者の皆様に最適なAWSの講座が見つかりますように(*´∀｀*)

AWSリソース構築の際、画面からリソースを作成する作業を効率化したいなと思うことはありませんか？

CloudFormation, AWS CLIを使用すると、画面から設定項目を入力せずともにAWSリソースの作成ができ便利です。

この記事ではRDS Proxyを例に取り、CloudFormation, AWS CLIでリソースを作成する方法をサンプル付きで紹介します！

いっちー

RDS Proxyってなに？という方は以下の記事をまずご覧ください。

【AWS】RDS Proxyを使用してLambdaからAuroraに接続する

この記事ではRDS Proxyを使用してLambdaからAuroraに接続する方法を、サンプルプログラムを用いて解説します。RDS Proxyを使用することで、DBへのコネクションをいい感じに調整してくれます。

ichi-station.com

2021.05.28

※CloudFormation, AWS CLIどちらのサンプルを実行しても同じようなRDS Proxyを作成できます。

CloudFormationでRDS Proxyを作成

CloudFormationを使い、以下の手順でRDS Proxyを作成します。

いっちー

CloudFormationってなに？という方は以下の記事をまずご覧ください。

【初心者向け】AWS CloudFormationでVPCを作成する

この記事ではAWSのCloudFormationを使用してVPCを構築する手順を解説します。CloudFormationを使用するとインフラ構成をコード管理できて様々なメリットがあります。ハンズオン形式でyamlのサンプルを載せてあり、記事の通りに試すとVPCが構築できます。

ichi-station.com

2021.06.02

RDS Proxyを作成するためのテンプレートファイルを作成

まずはCloudFormationにてリソースの構築に必要な、RDS Proxy用テンプレートを作成します。

テンプレートはyamlやjsonで記述します。以下はRDS Proxy用サンプルテンプレートです。

AWSTemplateFormatVersion: 2010-09-09

Parameters:
  ProxyName:
    Type: String
    Default: <Proxyの名前>
  ProxyTargetDBClusterIdentifiers:
    Type: CommaDelimitedList
  SecretReaderRoleArn:
    Type: String
    Default: <シークレットを参照できるIAM RoleのARN>
  ProxySecretArn:
    Type: String
    Default: <接続情報用シークレットのARN>
  SubnetIds:
    Type: String
    Default: <サブネットID1>,<サブネットID2>

Resources:
  TestDBProxy:
    Type: AWS::RDS::DBProxy
    Properties:
      DebugLogging: false
      DBProxyName: !Ref ProxyName
      EngineFamily: MYSQL
      IdleClientTimeout: 120
      RequireTLS: false
      RoleArn:
        !Ref SecretReaderRoleArn
      Auth:
        - {AuthScheme: SECRETS, SecretArn: !Ref ProxySecretArn, IAMAuth: DISABLED}
      VpcSubnetIds:
        Fn::Split: [",", !Ref SubnetIds]
  ProxyTargetGroup:
    Type: AWS::RDS::DBProxyTargetGroup
    Properties:
      DBProxyName: !Ref TestDBProxy
      # Proxyが接続するRDS Auroraクラスターの識別子
      DBClusterIdentifiers: !Ref ProxyTargetDBClusterIdentifiers
      TargetGroupName: default
      ConnectionPoolConfigurationInfo:
          MaxConnectionsPercent: 100
          MaxIdleConnectionsPercent: 50
          ConnectionBorrowTimeout: 120

いっちー

上記サンプルはこちらにアップロードしてあるのでご自由にお使いください！

作成したテンプレートファイルを使ってRDS Proxyを作成

上記テンプレートを用いてスタックを作成します。

スタックは、

CloudFormation > スタック > スタックの作成 > 新しいリソースを利用（標準）

から作成します。

yamlで定義したDefaultの値から変更する場合は、「スタックの詳細を指定」セクションから変更します。

最後のレビュー画面で設定項目に問題がないことを確認して、「スタックの作成」ボタンをクリックし、

スタックのステータスが「CREATE_IN_PROGRESS」から「CREATE_COMPLETE」になったら作成完了です。

いっちー

作成の完了までは10分程度かかります。

スタックを作成してあとは待つだけなので楽チンですね！

AWS CLIでRDS Proxyを作成

次はAWS CLIを使用したRDS Proxyの作成方法を解説します。

手順は以下です。

Proxy作成コマンドを叩く

まずはProxy本体を作成するコマンドを叩きます。サンプルは以下です。

$ aws rds create-db-proxy \
--db-proxy-name "<任意の名前>" \
--engine-family "MYSQL" \
--auth '[{"Description": "<説明>", "AuthScheme": "SECRETS", "SecretArn": "<SecretsのARN>", "IAMAuth": "DISABLED"}]' \
--role-arn "<RoleのARN>" \
--vpc-subnet-ids "<SubnetId1>" "<SubnetId2>" ......

いっちー

コマンドが長くなってしまったので\（バックスラッシュ）で改行してあります。

Proxyターゲット作成コマンドを叩く

次に以下のコマンドでProxyターゲットを作成します。

$ aws rds register-db-proxy-targets \
--db-proxy-name <Proxy名> \
--db-cluster-identifiers <DBクラスタの名前>

[補足] LambdaにRDS Proxyを紐づける場合

作成したRDS ProxyをLambdaにアタッチする場合は、

Lambda > 設定 > データベースプロキシ > データベースプロキシの追加

から、コマンド経由で作成したProxyをアタッチします。

なお、AWS CLIで作成したProxyにおいて、

コンソールではProxyがAvailableになっているが、作成後すぐはLambdaからの接続に失敗する事象を確認しました。

10分ほど待つと問題なく疎通できたので、裏で何かを構築していた途中だったのかもしれないです。

いっちー

気長に待ちましょう…!

さいごに

この記事ではCloudFormation, AWS CLIでRDS Proxyを作成する方法に関して解説しました。

コンソールから項目を設定しなくてもリソースが構築できる便利な代物なので、

インフラ環境構築の際にはCloudFormation, AWS CLIを使ってみてはいかがでしょうか？

いっちー

AWSの学習には「Amazon Web Services 基礎からのネットワーク＆サーバー構築」がおすすめです！

お知らせ

にほんブログ村のランキングに参加しています。よろしければ下のボタンをポチッとしていただけると嬉しいです＼(^^)／

参考資料

• create-db-proxy
  • https://awscli.amazonaws.com/v2/documentation/api/latest/reference/rds/create-db-proxy.html
• register-db-proxy-targets
  • https://awscli.amazonaws.com/v2/documentation/api/latest/reference/rds/register-db-proxy-targets.html
• RDS Proxyと戯れた話【AWS】
  • https://qiita.com/ttkn9a/items/2d325fc5e170721102d2
• 【AWS】RDS ProxyをCloudFormationで構築する
  • https://qiita.com/homines22/items/be6c9565ddd615d1d9ac
• AWS CloudFormation Documentation AWS::RDS::DBProxy
  • https://docs.aws.amazon.com/ja_jp/AWSCloudFormation/latest/UserGuide/aws-resource-rds-dbproxy.html

今回はAWSのCloudFormationを使用してVPCを構築する方法を解説します！

CloudFormationを使用すると、jsonやyamlで定義したファイルをアップロードするだけで、AWSリソースを自動で作成してくれます。

ハンズオン形式でCloudFormationの使い方を見ていきましょう。

いっちー

インフラの複製やコード管理化など、利点が非常に高いサービスです！

CloudFormationとは？

yamlやjsonでインフラを定義するとAWS環境の構築をしてくれるサービスです。

また、AWS Cloud Development Kit (AWS CDK) を使用すると、TypeScript、Python、Java、.NET を使用してクラウド環境を定義できます。

CloudFormaionを使用するメリット

CloudFormaionを使用すると、以下のようなメリットがあります。

いっちー

インフラをコード化できるため、バージョン管理(Gitなど)が可能となるのはメリットが大きいですね！

VPC構築ハンズオン

ここからは実際にVPCをCloudFormationで構築していくハンズオンです。

以下の手順でVPCを構築します。

Step 1. インフラ構成yamlファイルを作成

VPC構築用のyamlファイルを作成します。

create_vpc.yaml

# 任意。お作法として指定
AWSTemplateFormatVersion: "2010-09-09"

Parameters:
  VpcName:
    Type: String
    # デフォルトに値を設定すると、コンソールで値が入力された状態になる
    Default: "sample-vpc"

# スタックに含めるリソースを宣言
Resources:
  # Logical ID
  # 他のリソースから参照する場合はこのIDを利用
  SampleVPC:
    # Resource type
    # service-provider::service-name::data-type-name
    Type: AWS::EC2::VPC
    Properties:
      # CIDRブロック
      CidrBlock: 10.0.0.0/16
      Tags:
        # VPCの名前
        - Key: Name
          # ParametersのVpcNameを読み込む
          Value: !Ref VpcName

いっちー

上記yamlファイルはgithubにもアップロードしてあります！

Step 2. コンソールからyamlをアップロードしてVPCを作成

作成したyamlファイルをコンソールからアップロードして、実際にVPCを作成します。

CloudFormation > スタック > スタックの作成 > 新しいリソースを利用（標準）

から作成します。

以下の項目を設定します。

上記項目が設定できたら次へを押します。

スタックの詳細を指定では以下の項目を設定します。

上記を入力して次へ進みます。

スタックオプションの設定画面では特に何も入力せず次へ進みます。

最後のレビュー画面で設定項目に問題がないことを確認して、「スタックの作成」ボタンをクリックします。

ステータスが「CREATE_IN_PROGRESS」から「CREATE_COMPLETE」になったら作成完了です。

VPCのコンソールに行き、VPCが新規作成されていたらOKです。

Step 3. スタックを削除して作成したリソースを削除

せっかく作成したVPCですが、削除してみましょう、

CloudFormationでは、スタックを削除すると作成したリソースも全て削除してくれます。

削除はスタックの詳細画面内「削除」ボタンから行います。

イベントのステータスが「DELETE_COMPLETE」になっていたらVPCの画面に行き、VPCが削除されていたら完了です。

いっちー

ハンズオンはここまでです。お疲れ様でした！

さいごに

今回はAWSのCloudFormationを使ってVPCを構築する方法を解説しました。

CloudFormationを使用すると、インフラをコード管理できたり複製や管理が容易になったりとメリットがあります。

インフラ構築の機会にCloudFormationを使ってみてはいかがでしょうか？

お知らせ

にほんブログ村のランキングに参加しています。よろしければ下のボタンをポチッとしていただけると嬉しいです＼(^^)／

参考資料

• AWS CloudFormationの特徴
  • https://aws.amazon.com/jp/cloudformation/features/
• 【CloudFormation入門】5分と6行で始めるAWS CloudFormationテンプレートによるインフラ構築
  • https://dev.classmethod.jp/articles/cloudformation-beginner01/
• CloudFormationの全てを味わいつくせ！「AWSの全てをコードで管理する方法〜その理想と現実〜」 #cmdevio
  • https://dev.classmethod.jp/articles/aws-all-iac/

AWSを使っていると、LambdaからRDBへのアクセスで難儀することがあります。

それを解決するRDS ProxyがGA（一般提供）になりましたね！（ずいぶん前ですが）

この記事ではRDS Proxyを使用してLambdaからAuroraに接続する方法を解説します。

本文中やgithubにサンプルプログラムも載せておいたので、実装の際の参考にしてみてください。

いっちー

RDS Proxyを使用することによりLambdaからRDSへのアクセスが改善されます！

LambdaからRDSへのアクセスはアンチパターン

LambdaからRDSへのアクセスはアンチパターンと言われています。（調べるまで知りませんでした）

その理由は、Lambdaはリクエストごとに起動し、その都度RDSに対してコネクションを張ろうとするため、

コネクション上限を超えたLambdaからのアクセスはエラーとなってしまうためです。

いっちー

Lambda起動の頻度が高いほどコネクションが多くなってしまうのですね。。。

RDS Proxyはコネクションをいい感じに調整してくれる

そこで登場するのがRDS Proxyです。公式ドキュメントには以下のように説明があります。

Amazon RDS Proxy を使用すると、データベース接続のプーリングと共有をアプリケーションに許可してスケーラビリティを向上させることができます。RDS Proxy は、アプリケーション接続を維持しながら、スタンバイ DB インスタンスに自動的に接続することで、データベース障害に対するアプリケーションの耐障害性を高めます。RDS Proxy を使用すると、データベースに AWS Identity and Access Management (IAM) 認証を適用し、AWS Secrets Manager に認証情報を安全に保存することもできます。

https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/UserGuide/rds-proxy.html

ざっくりまとめると、RDS Proxyはコネクションをいい感じに調整してくれるサービスです。

今回は以下の手順でLambda + RDS Proxy + Auroraの接続を確認します。

1. 検証用Auroraを立てる
2. Auroraに接続し、データをSELECTするLambda関数を作成
3. RDS Proxyを作成
4. RDS ProxyをLambdaに追加し、同じくSELECTできるか確認する

検証用Auroraを立てる

まずは検証用のAuroraを立てます。検証用なのでスペックは低めです。

Amazon RDS > データベースの作成

からデータベースを作成します。

項目は以下を設定しました。

作成を押してしばらく待つとRDSのステータスが「作成中」-> 「利用可能」に変わったので、作成成功です。

DBにはサンプルテーブルを作成してサンプルの値を入れておきます。（後からLambdaで参照する際に使用）

CREATE TABLE `fruits` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `name` varchar(255) NOT NULL DEFAULT '',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
​
INSERT INTO `fruits` (`id`, `name`)
VALUES
	(1,'orange'),
	(2,'apple'),
	(3,'banana');

Auroraに接続し、データをSELECTするLambda関数を作成

AWS Lambda > 関数の作成

からLambda関数を作成します。

コードは特定のテーブルから内容をSELECTするシンプルなPythonスクリプトを作成しました。

lambda_function.py

import sys
import json
import pymysql

# rds settings
# お試しなので直書き
# secrets managerなどから値を取得する方がベター
# インスタンス直
host = "<インスタンス直のエンドポイント>"
user = "<ユーザー名>"
passwd = "<パスワード>"
db_name = "<DB名>"

def lambda_handler(event, context):
    print("start!!")
    
    try:
        conn = pymysql.connect(host=host, user=user, passwd=passwd, db=db_name, connect_timeout=5)
    except Exception as e:
        print("error")
        print(e)
    
    with conn.cursor() as cur:
        cur.execute("SELECT * FROM fruits")
        for row in cur:
            print(row)
    
    # TODO implement
    return {
        'statusCode': 200,
        'body': json.dumps('Hello from Lambda!')
    }

pymysqlはLambdaエディタかimportできないので、zip化してアップロード

DB接続用に使用しているpymysqlは、Lambdaのエディタからimport文を書いただけでは使えず、

以下の手順を踏む必要があります。

1. pymysqlをローカルにインストール
2. zip化してLambdaにアップロード

pymysqlをローカルにインストールするには以下のコマンドを使用します。

# カレントにインストール
pip3 install pymysql -t .

zipにまとめるには以下のコマンドを使用します。この際に作成したlambda_function.pyも含めます。（同じディレクトリに配置）

# zipにまとめる
zip -r app.zip /path/to/workdir/*

※仮にapp.zipという名前をつけてあります

こうしてできたzipファイルをコンソールからアップロードします。

Lambdaの該当関数 > コードタブ > アップロード元 > .zipファイル

からアップロードします。

「Test」ボタンから関数を実行し、以下の実行結果が表示されたらOKです。

start!!
(1, 'orange')
(2, 'apple')
(3, 'banana')

いっちー

これでLambda -> RDSの接続は完成です。

この後は、間にRDS Proxyを挟んでLambda -> RDS Proxy -> RDSとします。

RDS Proxyを作成

さて、本題であるRDS Proxyを作成していきます。

手順は以下です。

1. Secrets ManagerにRDSの接続情報を保存
2. RDS Proxyがシークレットを読み取ることができるIAMロールを作成
3. プロキシをLambda関数にアタッチ

Secrets ManagerにRDSの接続情報を設定

RDS ProxyがRDSにアクセスするために、Secrets ManagerにRDSの接続情報を設定します。

AWS Secrets Manager > シークレット > 新しいシークレットを保存する

から作成します。

ARNの値は後から使用するので控えておきます。

RDS Proxyがシークレットを読み取ることができるIAMロールを作成

RDS Proxyがシークレットを読み取ることができるIAMロールを作成していきます。

Identity and Access Management (IAM) > ポリシーの作成

から、ロールに紐付けるポリシーを作成します。

以下サンプルです。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "secretsmanager:GetResourcePolicy",
                "secretsmanager:GetSecretValue",
                "secretsmanager:DescribeSecret",
                "secretsmanager:ListSecretVersionIds"
            ],
            "Resource": [
                "<SecretsManagerのARN>"
            ]
        }
    ]
}

次に、

IAM > ロールの作成

からロールを作成します。

先ほど作成したポリシーをロールにアタッチします。また、以下の信頼関係を定義します。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "rds.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

いっちー

信頼関係を定義しないと、RDS Proxyの設定画面にて作成したIAMが候補に上がってこないので注意が必要です！（私は小一時間ハマりました、、、）

RDS ProxyをLambda関数にアタッチ

RDS ProxyをLambda関数にアタッチします。いよいよですね。

lambda > 設定 > データベースプロキシ > データベースプロキシの追加

からRDS Proxyを追加します。

作成後にはプロキシ経由のエンドポイントが払い出されるのでメモしておきます。

いっちー

構築物はここまででひとまず完了です！

RDS Proxyを経由したリクエストの確認

それでLambdaを実行してDBにアクセスできるか確認します。

その前にRDS Proxy経由のエンドポイントが払い出されたので、Lambdaのコードを変更します。

# インスタンス直
# host = "<インスタンス直のエンドポイント>"
# proxy経由
host = "<proxyのエンドポイント>"

これでLambdaを実行してみると、、、

(<class 'pymysql.err.OperationalError'>, OperationalError(2013, 'Lost connection to MySQL server during query'), <traceback object at 0x7ff4d20dba40>)
[ERROR] UnboundLocalError: local variable 'conn' referenced before assignment

上記のエラーが出ました。

こちらのエラーは何故かDBを再起動（停止→起動）したら治りました。

原因はわかっていません。。。（自分だけ！？）

繋がるようになったので、Lambdaを実行してみます。以下の結果が表示されたらOKです。

start!!
(1, 'orange')
(2, 'apple')
(3, 'banana')

いっちー

PDS Proxy経由でRDSにアクセスできましたね！お疲れ様でした！

結局RDBを再起動する前の接続エラーの原因は不明でした。。。

まとめ

この記事ではRDS Proxyを使用してLambdaからAuroraに接続する方法に関して紹介しました。

RDS Proxyを使用するとコネクション周りを自動でいい感じに調整してくれるので、

LambdaからRDBに接続する際の参考にしてみてください！

参考資料

• AWS LambdaでAmazon RDS Proxyを使用する
  • https://aws.amazon.com/jp/blogs/news/using-amazon-rds-proxy-with-aws-lambda/

• Lambda から RDS にアクセスする方法 (python)
  • https://qiita.com/aidy91614/items/92987d547c318e0483f5
• [Python] MySQLに接続してデータ操作を行う
  • https://dev.classmethod.jp/articles/lambda-my-first-step/
• [AWS]RDS Proxyを使用してにLambdaからRDSへアクセスするお話
  • https://www.dcom-web.co.jp/lab/java/awsrds-proxy_lambda_rds
• [動画公開] RDSプロキシは未来を変えるか #devio2020
  • https://dev.classmethod.jp/articles/20200626-abou-rds-proxy/

AWS学習おすすめ書籍

• Amazon Web Services パターン別構築・運用ガイド 改訂第2版
• Amazon Web Services 基礎からのネットワーク＆サーバー構築　改訂3版

今回は「AWS STSを使用して、GCPの認証情報を使ってS3にアクセスする」というテーマを解説します。

GCPをメインに開発をしている際にも、他システムと連携する際にAWSのリソースにアクセスしたい場合があります。

その場合はAWS側でIAMを払い出して、それを使用してアクセスしても良いのですが、

AWS STSを使うとIAMを使用せずともS3へのアクセスを実現できることがわかったので、

今回はその方法について解説します。

いっちー

STSを使用して権限周りをよりセキュアにしていきましょう！

AWS STSとは？

AWS STSとはAmazon Security Token Serviceの略で、

一時的な認証情報を発行するサービスになります。

一時的な認証情報には、

• アクセスキー
• シークレットアクセスキー
• セッショントークン

から構成され、これらの認証情報を使って許可されたリソースへのアクセスを実現します。

今回はAWS STSを使用して、GCPのサービスアカウントを使用してAWSのS3にアクセスする実装例を紹介します。

実装例

それでは実装例を見ていきます。サンプルプログラムも配置したので参考にしてみてください。

まずはプログラム配置をする前段階のサービスアカウントの準備などを行います。

GCPでサービスアカウントを新規作成

ますはGCPでサービスアカウントを作成します。

IAMと管理 > サービスアカウント > サービスアカウントの作成から作成します。

名前などの必要な情報を入れて、権限の設定では

「Service Account → Service Account Token Creator」を選択します。

サービスアカウントを作成できたら詳細ページに移動して（サービスアカウントをクリックすると詳細ページに移動）、

詳細に表示されている「一意のID」の値を控えておきます。

この値は後ほどAWSにてロールを設定する際に使用します。

AWSでロールを作成

ここからはAWSの設定です。コンソールにログインして

「IAM > ロール > ロールの作成」からロールを作成します。

ウェブIDを選択し、IDプロバイダーをGoogleにします。

AudienceにはGCPで作成したサービスアカウントの「一意のID」を記入します。

「次のステップ：アクセス権限」をクリックします。

今回はS3に配置したファイルの読み取りを確認したいので、「AmazonS3ReadOnlyAccess」を付与します。

タグはオプションなので今回はスキップして、ロールを作成します。

ロールのARNはプログラムから使用するので控えておきます。

GCEのインスタンスを立ててプログラムを配置

ようやくロール周りの設定ができたので、GCEにサーバーを立ててプログラムからアクセスします。

GCPのサーバーに配置するプログラムはGoで記述しました。

GCPサーバーにはGoやGitをインストールしましたがここでは詳細については割愛します。

今回はS3にサンプルファイルを設置してそれを読み取るプログラムを作成しました。

main.go

package main

import (
	"fmt"
	"io/ioutil"

	"cloud.google.com/go/compute/metadata"
	"github.com/aws/aws-sdk-go/aws"
	"github.com/aws/aws-sdk-go/aws/credentials"
	"github.com/aws/aws-sdk-go/aws/session"
	"github.com/aws/aws-sdk-go/service/s3"
	"github.com/aws/aws-sdk-go/service/sts"
)

func main() {
	awsRoleArn := "<作成したロールのARN>"

	// メタデータサーバーから値を取得
	instanceName := getMetadata("instance", "name")
	projectId := getMetadata("project", "project-id")
	projectAndInstanceName := fmt.Sprintf("%s.%s", projectId, instanceName)
	token := getMetadata("instance", "service-accounts/default/identity?format=standard&audience=gcp")

	sess, err := session.NewSession(&aws.Config{
		Region: aws.String("<リージョン>"),
	})
	if err != nil {
		fmt.Println("NewSession Error", err)
		return
	}

	// STS Clientを作成
	svc := sts.New(sess)
	result, err := svc.AssumeRoleWithWebIdentity(&sts.AssumeRoleWithWebIdentityInput{
		RoleArn:          &awsRoleArn,
		RoleSessionName:  &projectAndInstanceName,
		WebIdentityToken: &token,
	})
	if err != nil {
		fmt.Println("AssumeRoleWithWebIdentity Error", err)
		return
	}

	accessKeyId := *result.Credentials.AccessKeyId
	secretAccessKey := *result.Credentials.SecretAccessKey
	sessionToken := *result.Credentials.SessionToken
	expiration := result.Credentials.Expiration

	fmt.Println(fmt.Sprintf("accesskey:%s, secretkey:%s, sessiontoken:%s, expiration:%v", accessKeyId, secretAccessKey, sessionToken, expiration))

	creds := credentials.NewStaticCredentials(accessKeyId, secretAccessKey, sessionToken)
	sess2, err := session.NewSession(&aws.Config{
		Credentials: creds,
		Region:      aws.String("<リージョン>")},
	)
	if err != nil {
		fmt.Println("NewSession with credentials Error", err)
		return
	}
	client := s3.New(sess2)

	bucketName := "<バケット名>"
	objectKey := "<ファイル名>"
	obj, err := client.GetObject(&s3.GetObjectInput{
		Bucket: aws.String(bucketName),
		Key:    aws.String(objectKey),
	})
	if err != nil {
		fmt.Println(err)
		return
	}

	// 内容を読み込んで表示
	byteArray, _ := ioutil.ReadAll(obj.Body)
	fmt.Println(string(byteArray))
}

func getMetadata(path, parameter string) string {
	data, _ := metadata.Get(fmt.Sprintf("%s/%s", path, parameter))
	return data
}

少しづつ解説していきます。

以下ではメタデータサーバーから値を取得しています。これはのちにSTSクライアントを作成する際に使用します。

// メタデータサーバーから値を取得
instanceName := getMetadata("instance", "name")
projectId := getMetadata("project", "project-id")
projectAndInstanceName := fmt.Sprintf("%s.%s", projectId, instanceName)
token := getMetadata("instance", "service-accounts/default/identity?format=standard&audience=gcp")

以下の部分で取得したメタデータを使用してSTSクライアントを作成しています。

// STS Clientを作成
svc := sts.New(sess)
result, err := svc.AssumeRoleWithWebIdentity(&sts.AssumeRoleWithWebIdentityInput{
	RoleArn:          &awsRoleArn,
	RoleSessionName:  &projectAndInstanceName,
	WebIdentityToken: &token,
})

resultにて返ってきた値から一時的なアクセストークンやシークレットアクセストークンを取得できます。

accessKeyId := *result.Credentials.AccessKeyId
secretAccessKey := *result.Credentials.SecretAccessKey
sessionToken := *result.Credentials.SessionToken
expiration := result.Credentials.Expiration

fmt.Println(fmt.Sprintf("accesskey:%s, secretkey:%s, sessiontoken:%s, expiration:%v", accessKeyId, secretAccessKey, sessionToken, expiration))

クレデンシャルはaccessKeyId、secretAccessKey、sessionTokenを作って作成します。

creds := credentials.NewStaticCredentials(accessKeyId, secretAccessKey, sessionToken)
sess2, err := session.NewSession(&aws.Config{
	Credentials: creds,
	Region:      aws.String("<リージョン>")},
)
if err != nil {
	fmt.Println("NewSession with credentials Error", err)
	return
}
client := s3.New(sess2)

その後は通常のS3を操作する方法で実装を進めることができます。

最終行でS3のファイルの内容を表示しています。

bucketName := "<バケット名>"
objectKey := "<ファイル名>"
obj, err := client.GetObject(&s3.GetObjectInput{
	Bucket: aws.String(bucketName),
	Key:    aws.String(objectKey),
})
if err != nil {
	fmt.Println(err)
	return
}

// 内容を読み込んで表示
byteArray, _ := ioutil.ReadAll(obj.Body)
fmt.Println(string(byteArray))

いっちー

プログラム実行時にファイルの内容が表示されたら成功です！

お疲れ様でした。

さいごに

今回は「AWS STSを使用して、GCPの認証情報を使ってS3にアクセスする」というテーマを解説しました。

AWS側からセキュリティなどの理由でIAMを払い出したくない時など、今回紹介したSTSを使った方法が使用できるので、その際はぜひ試してみてください！

おすすめ書籍

図解即戦力 Amazon Web Servicesのしくみと技術がこれ1冊でしっかりわかる教科書

Amazon Web Services 基礎からのネットワーク＆サーバー構築　改訂3版 

お知らせ

にほんブログ村のランキングに参加しています。よろしければ下のボタンをポチッとしていただけると嬉しいです＼(^^)／

参考リンク

【そんなときどうする？】別のアカウントにセキュアにアクセスしたい！　いまさらきけないSTSとは？

Assume an AWS Role from a Google Cloud Instances without using IAM keys

GitHub doitintl/janus