Aws on IT 运维小秋

aws-ec2集合

chenwx716@139.com — Wed, 20 May 2026 12:30:00 +0800

EC2

实际很少 cli 操作, 都是用 Terraform 去管理, cli 主要是查一下信息;

AMI

aws 镜像管理

# 显示所有 AMI
aws ec2 describe-images --owners amazon --filters "Name=name,Values=amzn*" --query 'sort_by(Images, &CreationDate)[].Name' | sort

# 查询指定 AMI 的详细信息
aws ec2 describe-images --owners amazon --filters "Name=name,Values=amzn2-ami-kernel-5.10-hvm-2.0.20230808.0-x86_64-gp2"

# 过滤系统名 - al2023
aws ec2 describe-images --owners amazon --filters "Name=name,Values=al2023*" --query 'sort_by(Images, &CreationDate)[].Name' | sort


# 通过 System Manager 获取最新 AMI 的 Path - 编写 CloudFormation 时可以通过查询路径始终获取到当前支持的最新版本
aws ssm get-parameters-by-path --path "/aws/service/ami-amazon-linux-latest" --query 'Parameters[*].Name' | sort

instances 实例

常见规则和费用

m5n.xlarge
m5a.2xlarge
m5.4xlarge                  743.87/月
m5n.2xlarge     0.62
m5a.2xlarge     0.459
c5.2xlarge      0.834
c5.4xlarge      16c32g      608.82/月
c5a.16xlarge    64c128      2500$/月
db.m5.4xlarge   16c32g      800$/月
t2.nano
t2.micro
G6.2xlarge (8vCPU/32GB), 具有一个 Nvidia L4 GPU 和 24GB 显存

常用命令

# 将 ssh 公钥发送到指定到实例上
aws ec2-instance-connect send-ssh-public-key \
    --instance-id i-1234567890abcdef0 \
    --instance-os-user ec2-user \
    --availability-zone us-east-2b \
    --ssh-public-key file://path/my-rsa-key.pub


aws ec2 start-instances --instance-ids i-1234567890abcdef0  # 启动实例
aws ec2 stop-instances --instance-ids i-1234567890abcdef0   # 停止实例
aws ec2 reboot-instances --instance-ids i-1234567890abcdef5
aws ec2 terminate-instances --instance-ids i-1234567890abcdef0  # 终止实例
aws ec2 monitor-instances --instance-ids i-1234567890abcdef0    # 启用详细监控

# 禁用对指定实例的详细监控
aws ec2 unmonitor-instances --instance-ids i-1234567890abcdef0

# 新增一个实例
aws ec2 run-instances --image-id ami-0abcdef1234567890 --instance-type m5a.2xlarge \
    --key-name MyKeyPair \
    --subnet-id subnet-08fc749671b2d077c \
    --security-group-ids sg-0b0384b66d7d692f9 \
    --associate-public-ip-address \
    --count 1 \
    --key-name MyKeyPair \
    # 可选添加标签
    --tag-specifications 'ResourceType=instance,Tags=[{Key=webserver,Value=production}]' 'ResourceType=volume,Tags=[{Key=cost-center,Value=cc123}]' \

    # 传递一个启动时执行的初始化脚本
    --user-data file://my_script.txt

    # 细化磁盘配置
    --block-device-mappings '{"DeviceName":"/dev/sda","Ebs":{"Encrypted":false,"DeleteOnTermination":true,"Iops":3000,"SnapshotId":"snap-0bb9a8661e2745aad","VolumeSize":500,"VolumeType":"gp3","Throughput":125}}' \
    --network-interfaces '{"SubnetId":"subnet-0979ce58b278d0279","AssociatePublicIpAddress":true,"DeviceIndex":0,"Groups":["sg-preview-1"]}' \
    --metadata-options '{"HttpEndpoint":"enabled","HttpPutResponseHopLimit":2,"HttpTokens":"required"}' \
    --private-dns-name-options '{"HostnameType":"ip-name","EnableResourceNameDnsARecord":false,"EnableResourceNameDnsAAAARecord":false}' \

磁盘

1
2
3

# 创建空的通用固态硬盘 (gp3) 卷
aws --region xxx ec2 create-volume \
    --volume-type gp3 --size 80 --availability-zone xxxx2

磁盘扩容-卷

扩容开始会自动进行优化平衡, 不需要等待完成即可扩容系统内部


VOLUMEID=$(aws ec2 describe-instances \
  --instance-id $INSTANCEID \
  --query "Reservations[0].Instances[0].BlockDeviceMappings[0].Ebs.VolumeId" \
  --output text \
  --region $REGION)

# 大小单位是 GB
aws ec2 modify-volume --volume-id $VOLUMEID --size 100

磁盘扩容-系统内

# 磁盘扩容后, 主机内扩容空间
lsblk
growpart /dev/nvme0n1 1
resize2fs /dev/nvme0n1p1

快照


# 创建快照
aws ec2 create-snapshot --volume-id vol-1234567890abcdef0 \
    --description "This is my root volume snapshot"

# 创建多卷快照(连接到此实例的所有卷)
aws ec2 create-snapshots \
    --instance-specification InstanceId=i-1234567890abcdef0 \
    --description "This is snapshot of a volume from my-instance"

ELB

elb = nlb+alb

ip地址透传

ALB 不支持客户端的真实 IP 地址透传
NLB 以发布 4 层的 TCP, UDP 端口为主; 在 Instance 模式下支持真实 IP 地址透传, IP 模式下不支持透传

目标组(Target Group)的类型

Instance 模式: 可以将流量导入到本 Region 内的 EC2

IP 模式: 将流量导入到本 VPC 内的 IP, 也可以导入到本 VPC 以外的 IP,
例如通过 Direct Connect 专线或者 VPN 连接
只要网络能通就能转发

NLB

Instance 模式, 可以直接获取到真实 ip 地址
ip 模式, 默认获取到的是内网 ip 地址, 如果开启 proxyV2 才能获取到真实 ip, 需要后端 app 也开启支持

alb

Instance 模式和 IP 模式获取的都是内网 ip, 实际还是需要 xff

nacl

每个子网必须关联一个 NACL, 默认 NACL 允许所有流量进和出

NACL 和 Security Group 的主要区别:

SG 是实例级别的, NACL 是子网级别的
SG 有状态, NACL 无状态
SG 只支持允许规则, NACL 支持允许和拒绝

场景

拒绝某个特定IP段访问某个子网

无状态: 即往返规则需要配置来回2条策略

安全组

安全组是作用于弹性网卡(ENI)级别的有状态防火墙;
网络 ACL 是作用于子网(Subnet)级别的无状态的

有状态: 能进就能出, 不需要配置双向策略;
无状态: 需要配置双向策略, 即 tcp 的回包也需要策略

管理 cli

组管理cli

# show
aws --profile uat ec2 describe-security-groups --group-ids sg-0ddee21d8e13bfe11

aws ec2 create-security-group \
    --group-name "launch-xxx-1" \
    --description "launch-xxx-1 created 2025-07-15T11:48:13.869Z" \
    --vpc-id "vpc-0fdb583a4241e0934"

aws ec2 delete-security-group --group-id sg-903004f8
aws ec2 delete-security-group --group-name MySecurityGroup

策略管理cli

# 新增 - 信任指定ip全部流量
aws --profile uat ec2 authorize-security-group-ingress \
    --group-id sg-0ddee21d8e13bfe11 \
    --protocol -1 \
    --port -1 \
    --cidr 22.1.1.1/32

# 新增 - 信任指定ip 访问某端口
aws --profile uat --region ap-southeast-1 ec2 authorize-security-group-ingress \
    --group-id sg-0ddee21d8e13bfe11 \
    --protocol tcp \
    --port 22 \
    --cidr 22.0.113.0/24

# 新增 - 详细
aws --profile uat --region ap-southeast-1 ec2 authorize-security-group-ingress \
    --group-id sg-03560a978080de7ca \
    --ip-permissions IpProtocol=tcp,FromPort=22,ToPort=22,IpRanges="[{CidrIp=118.175.0.230/32,Description='test rule 2'}]"


# 移除策略
aws ec2 revoke-security-group-ingress --group-name mySecurityGroup \
    --protocol tcp --port 22 --cidr 22.0.2.0/24

# 通过 ip 权限集删除
aws ec2 revoke-security-group-ingress --group-id sg-026c12253ce15eff7 \
    --ip-permissions IpProtocol=icmp,FromPort=3,ToPort=4,IpRanges=[{CidrIp=0.0.0.0/0}]

publicIp="1.1.2.3"

aws --profile uat ec2 revoke-security-group-ingress \
    --group-id sg-0a6c3d297d06c90d5 \
    --ip-permissions IpProtocol=tcp,FromPort=22,ToPort=22,IpRanges="[{CidrIp=$publicIp/32,Description='b222tmp'}]" >> /dev/null

vip

注意, 这个 vip 地址不能是当前的 vpc cidr 地址段, 否则可能出现后续潜在的冲突

host 上新增一个 vip

/etc/netplan/60-failover-ip.yaml

network:
  version: 2
  ethernets: eth0
  addresses:
    - virtual.ip/32

netplan apply

在 AWS 控制台上禁用 EC2 实例的 “来源地址 / 目的地址” 的检查
通过禁用该检查, 可以允许 EC2 实例使用 VIP 发送 / 接收流量, 而不是其原始的 IP

# 查看 ecs  "来源地址 / 目的地址" 检查属性的当前状态
aws ec2 describe-instance-attribute --instance-id $AWS_INSTANCE_ID --attribute sourceDestCheck

# 禁用 "来源地址 / 目的地址" 检查
aws ec2 modify-instance-attribute --instance-id $AWS_INSTANCE_ID --no-source-dest-check

# 控制台或 cli 创建路由, 指向路由表中主节点的网络接口
aws ec2 create-route \
    --route-table-id $route_table_id \
    --destination-cidr-block virtual.ip/32 \
    --network-interface-id $network_interface_id

# 更新路由表, 再发生 vip 切换时, 主动更新路由表
aws ec2 replace-route \
    --route-table-id $route_table_id \
    --destination-cidr-block virtual.ip/32 \
    --network-interface-id $network_interface_id_primary

169.254.169.254

这个地址原本是 Microsoft Windows 的 APIPA 预留的(169.254.0.0/16)网段地址,
即 dhcp 失败后自动获取的一个随机地址范围

169.254.169.254 这个地址通常用于 ec2 实例上获取元数据
这个地址是 Amazon AWS 通过 DHCP 协议配置给每个 EC2 实例的;
通过访问该地址, 就可以访问到该 EC2 实例的元数据信息;
元数据包括实例 ID, 公网 IP 地址, 安全组, IAM 角色等信息;

openstack 也延续了这个用途, 同样华为云基于 openstack 也是同样的运用

即访问这个 ip 地址可以获取到与这个 ec2 实例相关的一些元数据

http://169.254.169.254/latest/meta-data/
http://169.254.169.254/latest/user-data

INSTANCEID=$(curl http://169.254.169.254/latest/meta-data/instance-id)
REGION=$(curl -s http://169.254.169.254/latest/meta-data/placement/region)

实例元数据服务版本:

AWS 提供两种版本的实例元数据服务(IMDS): IMDSv1 和 IMDSv2;
默认情况下, 两种版本都可用

1
2

TOKEN=`curl -X PUT "http://169.254.169.254/latest/api/token" -H "X-aws-ec2-metadata-token-ttl-seconds: 21600"`
curl -H "X-aws-ec2-metadata-token: $TOKEN" http://169.254.169.254/latest/meta-data/instance-id

aws-IAM身份

chenwx716@139.com — Wed, 20 May 2026 12:30:00 +0800

IAM

身份认证

核心要素

资源: 需要操作的对象
动作: 可以对这个对象进行某些操作
身份: 谁

其它要素

策略: 也就是权限, 即资源+动作的绑定;
角色: 身份集合, 可以把策略绑定给角色
用户
组

策略

user-policy: 直接附加到单个 IAM 用户上的权限策略, 尽量少用
group-policy: 附加到 IAM 用户组上的权限策略，组内所有用户继承该权限
role-policy: 附加到 IAM 角色上的权限策略

一般模式

人员: group + group-policy
程序: role + role-policy
CICD: Role Policy + OIDC

管理 cli

https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/cli_iam_code_examples.html

aws iam list-users
aws iam list-groups
aws iam list-roles
aws iam list-user-policies --user-name Bob
aws iam list-role-policies --role-name Test-Role
aws iam list-policies --max-items 3                 # 可用的托管策略

用户+组

aws iam create-user --user-name Bob
aws iam delete-user --user-name Bob

aws iam create-group --group-name MyTestGroup
aws iam delete-group --group-name MyTestGroup

aws iam add-user-to-group --user-name Bob --group-name Admins

角色

# 创建角色 + 附加策略
aws iam create-role --role-name Test-Role \
    --assume-role-policy-document file://Test-Role-Trust-Policy.json

aws iam delete-role --role-name Test-Role

策略

aws iam delete-user-policy --user-name Bob --policy-name ExamplePolicy
aws iam delete-group-policy --group-name Admins --policy-name ExamplePolicy
aws iam delete-role-policy --role-name Test-Role --policy-name ExamplePolicy
aws iam delete-policy --policy-arn arn:aws:iam::123456789012:policy/MySamplePolicy


# 将策略附加到组
aws iam attach-group-policy --group-name Finance \
    --policy-arn arn:aws:iam::aws:policy/ReadOnlyAccess

# 将策略附加到角色
aws iam attach-role-policy --role-name ReadOnlyRole \
    --policy-arn arn:aws:iam::aws:policy/ReadOnlyAccess

# 将策略附加到用户
aws iam attach-user-policy --user-name Alice \
    --policy-arn arn:aws:iam::aws:policy/AdministratorAccess \

# 新建权限策略, 并附加到 IAM 角色
aws iam put-role-policy --role-name Test-Role \
    --policy-name ExamplePolicy --policy-document file://AdminPolicy.json

用户密码


# 更新当前用户密码, 注意不能是 root iam 用户;

# 先生成一个标准格式文件, 然后在文件内填入旧密码和新密码
aws iam change-password --generate-cli-skeleton > change-password.json
# 变更密码
aws iam change-password --cli-input-json file://change-password.json

# 修改其他用户的密码 - 需要管理员权限
aws iam update-login-profile --user-name user_name --password new_pw

# 修改其他用户的密码 - 需要管理员权限 - 下次登录必须修改
aws iam update-login-profile --user-name Bob \
    --password "TemporaryP@ss123" --password-reset-required

sts


# 获取当前身份
aws sts get-caller-identity --region ap-southeast-1

# # 获取当前账号ID
ACCOUNT_ID=$(aws sts get-caller-identity --output text --query Account)

# 验证当前使用的身份, 输出 ARN 地址
aws sts get-caller-identity
aws sts get-caller-identity --query Arn --output text

审计

# 查看谁在 AssumeRole
aws cloudtrail lookup-events \
  --lookup-attributes AttributeKey=EventName,AttributeValue=AssumeRoleWithWebIdentity \
  --start-time "2024-01-01T00:00:00Z"

特殊权限说明

iam:PassRole

授权, 授权这个系统可以使用自己角色的权限

一般可以通过 –role-arn xxxx 参数进行显式指定授于的角色

{
    "Version": "2012-10-17",
    "Statement": [

        // 传递角色权限, 如果要创建资源, 必须要能传递自身的权限
        {
            "Effect": "Allow",
            "Action": "iam:PassRole",       // 允许传递 IAM 角色
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "iam:PassedToService": "eks.amazonaws.com"  // 角色只能传递给 EKS 服务
                }
            }
        }
    ]
}

凭证使用

操作场景

人工 ui 操作: 账号 + 密码 + 二次验证
本地 cli: aws_access_key_id + aws_secret_access_key
生产环境程序: 不注入任何密码和 key 信息, 程序从环境中获取身份

本地环境

方式 1: aws_access_key_id + aws_secret_access_key 有特权的长期凭证
方式 2: aws_access_key_id + aws_secret_access_key 无特权的长期凭证 + 通过 sts api AssumeRole 获取短期临时凭证 aws_session_token;

~/.aws/credentials

[default]
aws_access_key_id = AKIAIOSFODNN7EXAMPLE
aws_secret_access_key = wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
aws_session_token = xxxxxxxxxx

env 注入

1
2
3

AWS_ACCESS_KEY_ID=x
AWS_SECRET_ACCESS_KEY=x
AWS_SESSION_TOKEN=x

# 临时切换到一个角色(AssumeRole), 返回结果中包含 SessionToken
aws sts assume-role \
    --role-arn "arn:aws:iam::123456789012:role/MyRole" \
    --role-session-name "MySession"

从环境中获取身份

将一个 IAM 角色附加到这些计算资源上
运行在该资源上的 AWS SDK 会自动通过实例元数据服务 (IMDS) 或容器凭证端点来获取临时的, 动态刷新的凭证

对于 aws 原生资源(ec2 等) 默认有一个 IAM 角色;
所以实际是将权限附加策略给默认 IAM 角色

1
2

# EC2 实例元数据服务, 也会获取到 AWS_SESSION_TOKEN
curl http://169.254.169.254/latest/meta-data/iam/security-credentials/MyRole

sdk_auth

不要在代码或配置文件里存储任何 Access Key
程序里面只需要使用默认方法创建客户端即可;

1
2

import boto3
s3 = boto3.client('s3')         # 直接创建客户端

1
2

import software.amazon.awssdk.services.s3.S3Client;
S3Client s3 = S3Client.create();    // 直接创建客户端, 无需任何凭证相关配置

1
2

import "github.com/aws/aws-sdk-go-v2/service/s3"
client := s3.NewFromConfig(aws.Config{Region: "us-west-2"})     // 直接创建客户端

原理

SDK 会按照预定义的顺序检查一系列位置来寻找凭证, 一旦找到有效的凭证就停止搜索

EKS Pod Identity

在 Pod 内启动了一个本地代理(Agent)来负责凭证的获取和刷新

注入环境变量
当 Pod 启动时, EKS 集群会自动向 Pod 注入特定的环境变量和挂载卷
AWS_CONTAINER_CREDENTIALS_FULL_URI
指向节点上 Agent 的本地地址 (http://169.254.170.23/v1/credentials

AWS_CONTAINER_AUTHORIZATION_TOKEN_FILE
指向一个服务账户令牌文件

SDK 在默认凭证链中, 会发现 AWS_CONTAINER_CREDENTIALS_FULL_URI 这个环境变量, 从而知道应该向本地的 Agent 请求凭证
Agent 代理请求: Agent 收到 SDK 的请求后, 会使用挂载的令牌文件, 通过调用 EKS Auth API 的 AssumeRoleForPodIdentity 接口, 来获取与 Pod 服务账户关联的 IAM 角色的临时凭证
返回临时凭证: Agent 将获取到的临时凭证返回给 SDK

IRSA (IAM Roles for Service Accounts)

让 SDK 直接与 AWS STS 服务交互来换取凭证, 没有本地代理, 需要集群拥有 OIDC 终端节点

注入环境变量: 集群的 Webhook 会自动为 Pod 注入以下环境变量;
AWS_ROLE_ARN: 需要扮演的 IAM 角色 ARN;
AWS_WEB_IDENTITY_TOKEN_FILE: 指向一个 OIDC 令牌文件的路径;
SDK 交换令牌: 应用程序的 SDK 在默认凭证链中, 会发现 AWS_WEB_IDENTITY_TOKEN_FILE 和 AWS_ROLE_ARN 环境变量, 于是知道需要通过 OIDC 方式获取凭证;
调用 STS 服务: SDK 会读取令牌文件内容, 然后直接调用 AWS STS 服务的 AssumeRoleWithWebIdentity API, 将令牌发送给 STS 服务以交换临时凭证;
使用临时凭证: STS 服务验证令牌后, 返回临时凭证给 SDK, SDK 随后使用这些凭证调用 AWS 服务

EKS Pod Identity

较新的, 更简单的方案, 无需配置 OIDC

安装 EKS Pod Identity 代理: 确保集群已安装 eks-pod-identity-agent 插件
创建 IAM 角色, 附加业务策略, 角色的信任策略 (Trust Policy) 需要允许 Pod Identity 服务代为获取凭证
创建 Pod Identity 关联: 将 IAM 角色与特定的 Kubernetes 服务账户 (Service Account) 关联起来
在 Pod 中指定服务账户: 在 Pod 的 YAML 文件中, 通过 serviceAccountName 字段指定上述服务账户

定义 IAM 角色的信任策略 (Trust Policy)
是明确谁(AWS 服务)可以扮演(Assume)这个角色

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowEksAuthToAssumeRoleForPodIdentity",
      "Effect": "Allow",
      "Principal": {
        // 授权 EKS 的 Pod Identity 服务本身来扮演此角色
        "Service": "pods.eks.amazonaws.com"
      },
      "Action": [
        "sts:AssumeRole",       // 允许执行角色扮演操作

        // 允许在扮演角色时添加会话标签(Session Tags)
        // 这些标签可以用于在 IAM 策略中实施更细粒度的权限控制(ABAC)
        "sts:TagSession"
      ],

      // 可选条件限制
      "Condition": {
        "StringEquals": {
          "aws:RequestTag/kubernetes-namespace": ["your-namespace"],
          "aws:RequestTag/kubernetes-service-account": ["your-service-account"]
        }
      }

    }
  ]
}

创建 Pod Identity 关联:

将创建好的 IAM 角色, 与你 Kubernetes 集群中的服务账户(ServiceAccount)绑定起来

aws eks create-pod-identity-association \
    --cluster-name your-cluster-name \
    --namespace your-namespace \
    --service-account your-service-account \
    --role-arn arn:aws:iam::<AWS_ACCOUNT_ID>:role/<IAM_ROLE_NAME>

aws数据库集合

chenwx716@139.com — Wed, 20 May 2026 12:30:00 +0800

aws数据库

aws数据库

rds
rds proxy
DynamoDB

1. RDS

1
2
3

https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/cli_rds_code_examples.html
https://docs.aws.amazon.com/zh_cn/AmazonRDS/latest/UserGuide/CHAP_PostgreSQL.CommonTasks.html
https://docs.aws.amazon.com/cli/latest/reference/rds/create-db-cluster.html

注意区分集群和实例

postgresql

注意事项

参数组参数

`1`	`rds.force_ssl 1 # 默认值为 1, 需要 ssl 访问, 需要下载证书`

创建一个实例

aws rds create-db-cluster \
    --db-cluster-identifier sample-pg-cluster \
    --engine aurora-postgresql \
    --master-username master \
    --master-user-password secret99 \
    --db-subnet-group-name default \
    --vpc-security-group-ids sg-0b9130572daf3dc16

性能指标

Total DB load 47.03 表示数据库的总负载, 即所有活动和等待事件的总和
CPU 13.88, 30% CPU 使用占总负载的百分比;
IO:DataFileRead 3.45, 7%
从数据文件读取操作占总负载的百分比; 这反映了数据库从磁盘读取数据文件的频率和资源消耗

mysql

# 查询 MySQL 可用版本
aws rds describe-db-engine-versions --engine mysql --query "DBEngineVersions[].EngineVersion"

# 查询 aurora 可用版本
aws rds describe-db-engine-versions --engine aurora --query "DBEngineVersions[].EngineVersion"

aws rds describe-db-engine-versions --engine aurora-mysql --query "DBEngineVersions[].EngineVersion"

创建集群
创建实例

# 创建集群, 注意返回信息中的 endpoint 地址
aws rds create-db-cluster \
    --db-cluster-identifier cluster01 \
    --engine aurora-mysql \
    --engine-version 5.7 \
    --master-username admin \
    --master-user-password secret99 \
    --db-subnet-group-name default \
    --vpc-security-group-ids sg-0b9130572daf3dc16

   # 其它参数
   --kms-key-id b43c75aa-bb7d-481d-94e0-8bc45401bd36
   --storage-encrypted
   --enable-cloudwatch-logs-exports '["audit","error","general","slowquery"]'


# 创建实例
# 返回结果中也包含一个 endpoint, 但这个地址是写入节点本机的, 不是集群地址, 不具备高可用能力
aws rds create-db-instance \
    --db-instance-identifier cluster01 \
    --db-instance-class db.t3.micro \
    --engine mysql \
    --master-username admin \
    --master-user-password secret99 \
    --allocated-storage 20

其它管理命令

aws rds create-db-parameter-group \
    --db-parameter-group-name mydbparametergroup \
    --db-parameter-group-family MySQL5.6 \
    --description "My new parameter group"

aws rds create-db-snapshot \
    --db-instance-identifier database-mysql \
    --db-snapshot-identifier mydbsnapshot

# 创建集群 - 读副本
aws rds create-db-instance-read-replica \
    --db-instance-identifier test-instance-repl \
    --source-db-instance-identifier test-instance

# 使用 AWS CLI 创建只读副本
aws rds create-db-instance-read-replica \
    --db-instance-identifier my-db-read-replica \
    --source-db-instance-identifier my-primary-db \
    --db-instance-class db.t3.medium \
    --availability-zone us-east-1a

# 修改实例配置
aws rds modify-db-instance

cli manager

# 查看集群详细信息
aws rds describe-db-clusters --db-cluster-identifier mydbcluster

# 查看实例详细信息
aws rds describe-db-instances --db-instance-identifier mydbinstancecf

# 查看指定 RDS 数据库实例最近发生的事件列表
aws rds describe-events --source-identifier test-instance --source-type db-instance

# delete
# 在删除之前，自动创建一个数据库快照
aws rds delete-db-instance --db-instance-identifier test-instance \
    --final-db-snapshot-identifier test-instance-final-snap


# 获取性能指标数据, 参数存储在 JSON 文件中
aws pi get-resource-metrics --service-type RDS --identifier db-LKCGOBK26374TPTDFXOIWVCPPM \
  --start-time 1527026400 --end-time 1527080400 --period-in-seconds 300 \
  --metric db.load.avg --metric-queries file://metric-queries.json

metric-queries.json
[
    {
        "Metric": "db.load.avg",
        "GroupBy": {
            "Group":"db.wait_event"
        }
    }
]

2. RDS Proxy

创建 RDS Proxy

aws rds create-db-proxy \
    --db-proxy-name my-db-proxy \
    --engine-family MYSQL \
    --role-arn arn:aws:iam::123456789012:role/rds-proxy-role \
    --vpc-subnet-ids subnet-123456 subnet-789012 \
    --auth UsernamePassword \
    --secret-arn arn:aws:secretsmanager:us-east-1:123456789012:secret:my-db-credentials

aws rds create-db-proxy \
  --db-proxy-name my-rds-proxy \
  --engine-family MYSQL \
  --auth-type SECRETS \
  --require-tls \
  --idle-client-timeout 1800 \
  --debug-logging \
  --role-arn arn:aws:iam::123456789012:role/RDSProxyRole \
  --vpc-subnet-ids subnet-12345678 subnet-87654321 \
  --vpc-security-group-ids sg-12345678 \
  --auth Description="RDS Proxy Auth",AuthScheme=SECRETS,IAMAuth=DISABLED,SecretArn=arn:aws:secretsmanager:us-east-1:123456789012:secret:rds-proxy-credentials-ABC123

# 添加主数据库作为写端点
aws rds register-db-proxy-targets --db-proxy-name my-rds-proxy --target-group-name default \
  --db-instance-identifier my-primary-db

# 添加只读副本作为读端点
aws rds register-db-proxy-targets --db-proxy-name my-rds-proxy --target-group-name reader \
  --db-instance-identifier my-read-replica-1

# 检查复制状态
aws rds describe-db-instances \
    --db-instance-identifier my-read-replica \
    --query 'DBInstances[0].{Status:DBInstanceStatus, ReplicaStatus:StatusInfos[0].Status}'

# 监控 CloudWatch 指标
aws cloudwatch get-metric-statistics \
    --namespace AWS/RDS \
    --metric-name ReplicaLag \
    --dimensions Name=DBInstanceIdentifier,Value=my-read-replica \
    --start-time $(date -u -d "5 minutes ago" +%Y-%m-%dT%H:%M:%SZ) \
    --end-time $(date -u +%Y-%m-%dT%H:%M:%SZ) \
    --period 60 \
    --statistics Maximum

# 查看代理状态
aws rds describe-db-proxies --db-proxy-name my-rds-proxy

# 查看目标状态
aws rds describe-db-proxy-targets --db-proxy-name my-rds-proxy

# 查看代理日志
aws rds describe-db-proxy-log-files --db-proxy-name my-rds-proxy

3. DynamoDB

一种 NoSQL 数据库服务, 使用键值对来存储数据

无模式(Schema-less)的; 同一张表中的不同项可以拥有完全不同的属性集合

数据结构层级

Table 表: 与其他数据库类似, 是数据的集合容器;
与关系型数据库不同的是, DynamoDB 在创建表时只需定义主键(Primary Key),
无需预先定义其他列或属性(Schema-less);

Item 项: 表中的一条数据记录, 类似于关系型数据库中的"行(Row)"

Attribute 属性: 组成项的基本数据单元, 类似于"列(Column)", 但 DynamoDB 支持嵌套结构

数据类型标识

用于告诉 DynamoDB 该属性的具体类型

标识符	数据类型	描述与示例
S	String	区分大小写的字符串; 例如: {“S”: “张三”}
N	Number	整数或小数, 作为字符串传输; 例如: {“N”: “99.9”}
B	Binary	二进制数据(Base64 编码); 例如: {“B”: “dGVzdA==”}
BOOL	Boolean	布尔值; 例如: {“BOOL”: true}
NULL	Null	表示空值; 例如: {“NULL”: true}
L	List	存储有序的集合, 类型可混合; 例如: {“L”: [{“S”: “apple”}, {“N”: “5”}]}
M	Map	存储无序的键值对集合, 类似 JSON 对象;
SS	Set	字符串集合, 元素必须唯一
NS	Set	数字集合, 元素必须唯一
BS	Set	二进制集合, 元素必须唯一

`1`	`Map : {"M": {"name": {"S": "李四"}, "age": {"N": "18"}}}`

map 和 list 可以构建深度最多 32 层的复杂 JSON 结构

Primary Key 主键

分区键(Partition Key)
必须存在, DynamoDB 根据该值的哈希值进行物理存储分布;
选择分区键时, 建议选择基数大(取值种类多)的属性(如 user_id), 避免出现"热点"分区;

排序键(Sort Key)
可选, 用于在同一分区键下对数据进行排序;
支持字符串(S), 数字(N)或二进制(B)类型;
如果业务存在"一对多"查询需求(如查询"某用户的所有订单"), 建议将关联属性设计为排序键;

管理 cli

使用 CLI 操作时, 必须显式声明类型
使用语言 SDK 时, 通常会字段解决类型声明;

管理表

1
2
3


# 列出全部表
aws --profile uat --region us-east-1 dynamodb list-tables

数据查询


# 必须同时指定分区键和排序键
aws --profile uat --region us-east-1 \
    dynamodb get-item \
    --table-name Riv-Prod-SharedStorageMetadataFaceTable609BE09F-16WEOJN0II315 \
    --key '{"PartitionKey": {"S": "User::84e571c1-d0f9-49ce-b797-581c7542ac9b"}, "SortKey": {"S": "Face::1909665b-73dc-48a9-9bba-40725105c633"}}' \
    --return-consumed-capacity TOTAL

# 扫描表里面的全部数据
aws --profile uat --region us-east-1 dynamodb scan \
    --table-name Riv-Prod-SharedStorageMetadataFaceTable609BE09F-16WEOJN0II315

# 扫描表里面的全部数据 - 过滤
aws --profile uat --region us-east-1 dynamodb scan \
    --table-name Riv-Prod-SharedStorageMetadataFaceTable609BE09F-16WEOJN0II315 \
    --filter-expression "PartitionKey = :a" \
    --expression-attribute-values '{":a":{"S":"User::ae6bd981-409e-4651-b88c-dab9ee06bdd3"}}' \
    --return-consumed-capacity TOTAL


# 文件搜索 key
# awskey.json
{"PartitionKey": {"S": "User::84e571c1-d0f9-49ce-b797-581c7542ac9b"}}

aws --profile zhongtai --region us-east-1 dynamodb scan \
    --table-name Riv-Prod-SharedStorageMetadataFaceTable609BE09F-7A7RS2GQO97O \
    --filter-expression "PartitionKey = :a" \
    --expression-attribute-values '{":a":{"S":"User::ae6bd981-409e-4651-b88c-dab9ee06bdd3"}}' \
    --return-consumed-capacity TOTAL

数据

{
  "user_id": {"S": "user_001"},
  "age": {"N": "25"},
  "tags": {"SS": ["developer", "aws"]},
  "profile": {
    "M": {
      "city": {"S": "上海"},
      "score": {"N": "88.5"}
    }
  }
}

python sdk


import boto3

dynamodb = boto3.resource('dynamodb')
table = dynamodb.Table('your_table_name')

# 检查主键名
primary_key = table.key_schema[0]['AttributeName']
if primary_key != 'your_primary_key':
    raise ValueError("提供的键名与定义的键名不匹配")

# 检查排序键名
sort_key = table.key_schema[1]['AttributeName']
if sort_key != 'your_sort_key':
    raise ValueError("提供的键名与定义的键名不匹配")


# 可以使用 Table.attribute_definitions 属性来获取 DynamoDB 表的键值类型信息
# 检查主键值类型
primary_key_type = table.attribute_definitions[0]['AttributeType']
if type(your_primary_key) != primary_key_type:
    raise TypeError("提供的键值与定义的键值类型不匹配")

# 检查排序键值类型
sort_key_type = table.attribute_definitions[1]['AttributeType']
if type(your_sort_key) != sort_key_type:
    raise TypeError("提供的键值与定义的键值类型不匹配")

DMS

数据库迁移服务

注意内部是通过触发器进行同步的, 触发器的用户和相关权限需要注意

因为数据迁移用过一次, 因为触发器引发业务bug, 所以又放弃使用了;

pg数据库

1
2
3

-- 独立的迁移用户需要有相关权限
GRANT rds_superuser to your_user;
GRANT rds_replication to your_user;