Tag: aws

前兩周碰到 GMAIL 很 GY 的問題，想說要不要去申請 MailGun ，後來想說，要另外申請服務挺麻煩(畢竟不是自家用)，AWS 應該有這類服務吧。去 Google 以後，才發現自己之前有用過，只是全都忘光光了，這次要紀錄下來。這次的紀錄重點：

1. 簡介
2. 需要什麼?
3. 如何移出 Sandbox?

AWS SES 是 AWS 的大規模電子郵件解決方案，可以用來寄發大量的電子郵件。他除了有提供 SMTP 設定之外，也可以直接使用程式來寄送。用 SMTP 設定方便的地方在於各個語言都有 SMTP 的函式庫可以用，所以設定填一填就可以寄了，不用額外再加函式庫。

要申請這個服務，要預先準備好網域，因為他是以網域為基礎。首先要新增網域，在進行新增網域的步驟時，步驟的說明會詳列出你該怎麼做來進行後續的驗證。這部份蠻簡單的，就只是去新增一個網域記錄，然後把 AWS 要求你填的資訊放進去就可以了。

在新增網域並進行驗證以後，就可以使用 SES SMTP 或是用程式去寄了。只是這時候是在 Sandbox 裡，有限制在的，不能寄太多信，寄件者跟收件者也都有限制。AWS Management console 也會提醒你，現在還在 Sandbox，如果需要提升額度或是可以寄送到外面，必須要提出申請 (有連結可以按)，這邊就是照網頁說明去提出申請即可。提出申請時，AWS 會要求你回答幾個問題。這幾個問題主要是要確保 AWS 自身的立場，也就是當有人回報信件被濫用或退信時(抱怨)，該怎麼去處理。

AWS 建議的作法就是要求你使用 AWS SNS ，當有退信或是抱怨時，讓 AWS 可以透過 AWS SNS 去通知你。AWS SNS 可以用郵件通知或是用 HTTP/HTTPS 去通知你的網站進行自動處理等等的。我後來是簡單的設定 AWS SNS，用郵件來通知我，等以後再來改成讓網站自動處理。

參考資料(來自AWS 文件)：

• Using the Amazon SES SMTP Interface to Send Email
• Send an Email Using SMTP with C#
• 用 SMTP SES 時，最好新建一個 IAM 帳號，專門用來寄送 SMTP，以確保安全性與方便追蹤。Obtaining Your Amazon SES SMTP Credentials
• 使用 Amazon SES 通知進行監控
  • Amazon SES 的 Amazon SNS 通知內容 

前幾天看 S3/Glacier FAQ 時，看到有 SELECT 這個功能，是去年推出的。S3/Glacier select  這功能是這樣子，你可以把 CSV/JSON/Apache Parquet 這幾種格式的檔案放到 S3/Glacier 上，然後就可以使用類似 SQL 的敘述來查詢檔案內容。

• Amazon S3 宣布推出適用於 S3 Select 的新功能
• AWS S3 SELECT Command
• Selecting Content from Objects
• How to Use S3 Select to Save Time on Amazon S3

所以我們可以把不常使用的資料從資料庫移轉到 S3/Glacier 上，需要時，再使用 S3 SELECT 來查詢。這樣資料庫不需要一直擴充容量，放到 S3/Glacier 可以降低資料庫儲存的成本。

使用範例：

• Python + boto3 https://github.com/gregwhitaker/s3-select-example

不過，網路上能找到的範例多半都是使用 CSV，那使用 JSON 又是如何呢？我試了以後，發現這個 JSON 格式不是我在 Python 用 json.dump() 傾印出來就搞定的。資料是陣列時，要針對每個元素去 dump，不可以是 [{}, {},…] 這樣，必須是 {} {} {} 這樣子，AWS API 才不會報錯 (參考：stackoverflow – amazon s3 – s3-select querying data on field name)。

import json

with open('output.json', 'wt') as fout:
  for obj in objs:
    json.dump(obj, fout, indent=2, ensure_ascii=True)
# 輸出結果
"""
{
  "id": 13930241}{
  "id": 13930240}
"""

上個月公司 AWS 帳單來時，看到 EBS 使用率提高，所以費用增加不少

剛剛去算了一下目前的 IOPS ，然後套到 aws 計算機去算。

先用 AWS CloudWatch 去指定要看的 EBS volume 、指標(VolumeReadOps/VolumeWriteOps)以及日期區間，把統計方式改為總和，然後用最高點的數值套這公式： (VolumeReadOps + VolumeWriteOps) / 區間的秒數，算出目前用的 IOPS 是 106 左右。

計算方式是參考這兩個連結：

• How-To Calculate Your EBS Volume IOPS Using CloudWatch Dashboard on AWS
• Calculating IOPS Utilization for EBS Volumes

然後到 AWS 計算機網頁，目前 EBS volume type 是 magnetic(standard)，storage  250 G，IOPS 填入 106，算出金額約 39.79，接著將 Volume type 改為 gp2，金額變成 26.40。

所以選擇適當的 EBS volume type 是有助於省錢的。