星期六, 7月 25, 2020

使用 GCP Storage 資料移轉服務同步 AWS S3 資料小記

使用 GCP Storage 資料移轉服務同步 AWS S3 資料小記


在工作上因為有接觸比較多的雲端平臺, 所以今天來寫 GCP 的 Transfer Service


情境: 將 AWS 上面 S3 的資料透過 GCP Transfer Service 將資料同步到 GCP Cloud Storage



前置準備

  • AWS IAM 帳號

    • 可以設定只給 AmazonS3ReadOnlyAccess 政策

    • Access key ID 與 Secret access key


登入 GCP console


首先先建立實驗用的 Bucket

點選 Storage -- > 瀏覽器



點選 建立值區

輸入 名稱 / 選取資料的儲存位置 / 級別 / 存取權

點選 建立


  • 這邊要注意的是, 預設儲存位置是 Multi-region, 如果是實驗目的, 可以選取 Region(單一地區)比較省錢


點選 資料移轉 -- > 點選 Transfer Service | 雲端



點選 建立轉移作業



選取來源位置

選取 Amazon S3 Bucket

輸入 S3 Bucket 名稱在 S3:// 後

輸入 存取金鑰 ID

輸入 存取權密鑰


  • 上面的需求條件內有說明, 如果只需要同步 那就是具備讀取來源與寫入目的地的權限

  • 如果要刪除來源就要有刪除的權限

  • 也可以用篩選的方式來同步


選取目標的 GCP Cloud Storage Bucket

點選 繼續



選取立即執行(once) 或是 執行時間 (Daily)

點選 建立



  • 作業名稱會用雙邊的 bucket name 與轉移作業設定來命名


接下來就會開始作業以及顯示狀態

同步完成之後可以到 GCP 的 Cloud Storage 觀察

相關資訊也會在 Transfer Service 呈現



這樣就多學到一招同步的技巧

~ enjoy it



Reference:

沒有留言: