使用 GCP Storage 資料移轉服務同步 AWS S3 資料小記
在工作上因為有接觸比較多的雲端平臺, 所以今天來寫 GCP 的 Transfer Service
情境: 將 AWS 上面 S3 的資料透過 GCP Transfer Service 將資料同步到 GCP Cloud Storage
前置準備
AWS IAM 帳號
可以設定只給 AmazonS3ReadOnlyAccess 政策
Access key ID 與 Secret access key
登入 GCP console
首先先建立實驗用的 Bucket
點選 Storage -- > 瀏覽器
點選 建立值區
輸入 名稱 / 選取資料的儲存位置 / 級別 / 存取權
點選 建立
這邊要注意的是, 預設儲存位置是 Multi-region, 如果是實驗目的, 可以選取 Region(單一地區)比較省錢
點選 資料移轉 -- > 點選 Transfer Service | 雲端
點選 建立轉移作業
選取來源位置
選取 Amazon S3 Bucket
輸入 S3 Bucket 名稱在 S3:// 後
輸入 存取金鑰 ID
輸入 存取權密鑰
上面的需求條件內有說明, 如果只需要同步 那就是具備讀取來源與寫入目的地的權限
如果要刪除來源就要有刪除的權限
也可以用篩選的方式來同步
選取目標的 GCP Cloud Storage Bucket
點選 繼續
選取立即執行(once) 或是 執行時間 (Daily)
點選 建立
作業名稱會用雙邊的 bucket name 與轉移作業設定來命名
接下來就會開始作業以及顯示狀態
同步完成之後可以到 GCP 的 Cloud Storage 觀察
相關資訊也會在 Transfer Service 呈現
這樣就多學到一招同步的技巧
~ enjoy it
Reference:
沒有留言:
張貼留言