piu lentoの日々 (piu lento days)

以前から、手持ちの音楽のファイル全部を(ローカルなHDD以外に)クラウドストレージにもバックアップしたいと思って居たが※、データ量が大きくて(800GB近い)料金がかさむので、貴重なものだけ(約130GB)に絞っていた。

※実は、そもそも その必要性には疑問がある。CDなどを買えば再び手に入るものをバックアップすることに意味があるかだ。ただ、仮に全部消失した場合、再び買って揃えるにはお金も手間も掛かるし、CDだったらPCに復旧(リッピング)させるには相当な手間が要り、その気力は起こらないだろうから、それが不要になる点では意味がある。

ただ、全部消失するような事態になったら、バックアップがあったとしても復旧させる気が起こるかは疑問だ。だから、ストレージの料金をなるべく安くし、無駄だったとしても「保険」として割り切れるようにしたい。

あるいは、「いかにも」だが、仮にバックアップする意味は全くなかったとしても、こういう技術の知識・経験が得られる価値はある。

それから、音楽以外にビデオのファイルもバックアップできればいいが、さすがにデータ量が桁違いに大きい(約3TB)から料金がかさむだろうし、随分前から そういうビデオを観る(観た)ことがないので、「消失したら諦める」で良いと考えている。

その後、変更やダウンロードが高く付くなど使い方に制限はあるものの料金の安い、archive(またはnear line) storageというカテゴリ(貯金で言えば、利率は高いものの、ATM手数料が高く、最短解約期間制限のある定期のようなもの。国債のほうが近いかも)があることを知り、それを試してみようと思って居た。面倒だったのと別件がいろいろあったので延期していたが、昨日から試し始めた。

まず、料金の安い いくつかのサービスの料金を比較した。

• Microsoft Azure Blob Storage (以下、Azure(クラスはArchive)。他も同)
  • Archiveの料金: USD 0.00099/GB/月〜 (サーバの場所によって異なる。Googleも同じ)
    • 例: 500GBの場合、約USD 約0.50/月, 800GBの場合、約USD 約0.79/月 (アクセス関連の料金は含まない。以下同)
  • データ取得時間: 最大15時間
• Google Cloud Storage (以下、GCS)
  • Archiveの料金: USD 0.0012/GB/月〜
    • 例: 500GBの場合、USD 0.60/月, 800GBの場合、約USD 0.96/月
  • データ取得時間: 1秒未満 ("sub-second")
• Amazon S3 (以下、S3)
  • Glacier Deep Archiveの料金: USD 0.00099/GB/月〜
    • 例: 500GBの場合、約USD 約0.50/月, 800GBの場合、約USD 約0.79/月
  • データ取得時間: 12時間以内
• [比較] Backblaze B2 Cloud Storage (archiveではない。以下、B2)
  • 料金: USD 0.005/GB/月
    • 例: 500GBの場合、USD 2.5/月, 800GBの場合、USD 4.0/月

※データ取得時間は下の「補足・訂正」の記載時に追加した。

それらのうち、バックアップに使う予定のソフト(rclone)が対応していて最安と思われる、AzureとGCSを試すことにした。

なお、S3の料金は、以前調べた時(高い地域を見たようだ)はUSD 0.002/GB/月だったので却下したのだが、今調べると(例えばオレゴンは)Azure並みなので、追って再検討したい。

同じく、以前は気付かなかったS3のIntelligent-Tiering(アクセス頻度で自動でストレージのクラス(→ コスト)を変える)が なかなか良さそうで、理想的に働けば(そうは問屋が許さなそうだが)、B2から全部移行しても料金を節約できるかも知れない。

一方、すぐに分かったS3の欠点は、AzureやGCSのような無料試用額・期間(例: GCSは約3万円, 90日)がないことだ。これは結構大きく、料金システムが複雑で簡単には見積もれないことと相まって、気軽には試せない。やっぱりAmazonはセコいのかね。

→ 下の「補足・訂正」に書いたように、S3はAzure同様データ取得時間が長いのと、他と異なって無料で気軽に試用できないため、見送ることにした。 (17:53)

上記のように、現在使っているB2に比べて料金が1/5前後と かなり安いから、うまく使えれば行けそうだ。また、Azure(S3も)はGCSより2割近く安く、(さまざまな疑念はあるがｗ)もし良ければ使うのも悪くはない。それに、Googleだって好きじゃないｗ

結論を先に書くと、Azureは全く論外だった。一番のポイントはストレージ内でファイル・ディレクトリの移動ができないことだ。(補足・訂正あり。下記参照) 例えば、ストレージに保存(バックアップ)する時に場所を間違えてしまったら直せないのだ。それから、保存後に気が変わっても移動できない。もちろん、コピーするか再度保存(アップロード)すればいいが、時間もお金も掛かる。

SMBならできるという情報もあったが、インターネットで使うものなのか?? TCP版があるのだろうか?

馬鹿馬鹿しい・面倒以前に、こういうファイルシステムの基本機能がなかったら使いものにならない。「安けりゃ いいってもんじゃない」の典型ではなかろうか。良く使う人が居るものだ。Azureに決める人(お偉いさんや客?)は そういうこと分からず、現場が苦しんでいるのかも知れない。もちろん、ストレージ以外に すごくいいことがあるのかも知れないが、どうだろうね・・・

一方、GCSはもちろんファイル・ディレクトリの移動ができる。当たり前のことだ。書くまでもないけど一応書いた。 (← 実は違っていた。下記参照)

ところが、書いたあとで別件(できればsym-linkもバックアップしたい)を思い出し、それに対応するためには別のバックアッププログラム duplicacyを使うことになり、それならファイルの移動は関係ないので、安いAzureが いいかも知れないので、まとまり次第、更新・追加する。 (11:29)

補足・訂正

その後、GCSもファイル・ディレクトリの移動はできないことが分かった。ディレクトリの移動はできず、ファイルの移動はサーバ内でのコピーと削除で実現されるので、Azureと同様だ。ただ、GCSは、Archiveでも高速にファイルにアクセス(取得)できるという大きなメリットがあることが分かった。Azureでは解凍(rehydrate)にものすごく時間が掛かる(30分どころではなく、「最大15時間」である)。S3は「12 時間以内」だ。まさに、待ってたら日が暮れる。

目的は保険的なバックアップなので、必ずしも高速に取得できる必要はないが、いつ使えるようになるのか分からないのでは不便だ。なので、GCSは少し高いけどその価値がありそうだ。

それにしても、GCSの高速性はどのように実現しているのだろうか。単に全部同じストレージ(HDD?)を使い、料金や最小保持期間でコストを回収しているのだろうか?

→ 結局、Azureは やっぱり使えないことが分かり、GCSが良さそうだという結論は変わらない。 (16:42)

また、rcloneとduplicacyの使い勝手や予想コストなどを比較し、sym-linkなどは当初は諦めてrcloneを使い、必要な時に対処することにした。 (17:48)

以下に、それぞれを試してのメモ・感想・気付いたことを示す。

Azure

• 初期設定で いろいろ難しい単語・概念が出て来て複雑。
  • ストレージなのに仮想ネットとか言われてもねえ・・・
• コンソール(web)が使いにくい・分かりにくい。
  • 日本語訳で更に悪くなっている。 → 少ししてから英語に切り替えて、ちょっとマシになった。
  • 機能が少な過ぎる。
    • ファイルの移動やコピーすらできない。
  • → StorageExplorer(Linux版)を試そうとするが、.NETのライブラリが要るようで、動かなかった。
    • 調べたら、それでもファイル・ディレクトリの移動はできないようだ。
  • ただし、Metrics(使用状況のグラフ表示)はGCSよりずっと使いやすい。
• ファイルシステムの基本機能が不足している。
  • ファイル・ディレクトリの移動ができない。 ← 実装としてはGCSも同様だった。
  • ルートのファイル名に小文字しか使えない。 ← どうやら、これはGCSでの「バケット名」だったようで、GCSも同じだった。
• 地域は、料金の安い westus2 (US西部)にした。
• アップロード速度は悪くない。: 30Mbps以上出ていた。
• ファイルの取得にものすごく時間が掛かる(仕様では最大15時間)。
• 料金の更新は即時ではない。翌日? (当然か)
  • GCSも同じ。
• 全般的に料金は安いが、Read操作が異常に高い(USD 5/10000ops)のが気になる。
  • これが いつどのくらい効くのか、今ひとつ分からない。

GCS

• 初期設定は概ね分かりやすかった。
  • ただ、分からないので無設定(デフォルト)にした項目も結構あった。
• コンソール(web)はAzureよりずっと使いやすい。
  • Azureよりずっと分かりやすく、使いやすかった。
    • ただし、他のGoocle Cloudのサービスで懲りているので、英語版で使った。
  • 機能は概ね充分だが、以下が不便だった。
    • (バケットなどの)ストレージのデータ使用量が分からないのは不便。。。
      • → rclone sizeで分かる。
    • プロジェクトの名前が変えられない? → 随分探してできた。
  • わずかに面倒なところがある。
    • 例: Monitoringのストレージの地域が最初は必ずデフォルトになり、設定してもリロードするとリセットされてしまう。
• ファイルシステムの機能は普通・常識的で問題ない。
  • ディレクトリの移動はできない。
  • ファイルの移動は内部的にはコピーと削除になる。
• 地域は、料金の安い us-west1 (オレゴン)にした。
  • 土地勘がないため、オレゴンは遅そうなイメージだったが、下記のように速度は問題なかった。
• 全般的に料金は安いが、最小保存期間が365日と かなり長いのが気になる。
  • 大量のデータを短期間で消すと高く付きそうだ。
  • Azureは180日。
• アップロード速度は悪くない。: 30Mbps以上出ていた。Azureより少し速かった。
• ファイルの取得は高速。普通のストレージと同じ感覚で使える。
• その他
  • 無料試用分(USD 300)を得るため、現在のGoogleのアカウントとは完全に別に作った。
    • 混同・誤用・クッキーなどのmixを避けるため、ブラウザも別にした。
    • アカウント登録時に電話番号が要る(SMSでの認証がある)ので困ったが、そろそろ解約かと思っていた楽天モバイルが使えた。
  • アクセスのための認証情報(パスワード)がなく、rcloneの設定でをどうするのか分からなかったが、最後にブラウザで認証・許可できることが分かった。
    • 先進的でちょっと感動したがｗ、rcloneのマニュアルに書いておいて欲しかった。
  • rcloneでのファイル・ディレクトリの移動に癖があるが、大きな問題はない。
    • サブコマンドmoveとmotvetoの違いなのだろう。

というわけで、無料試用分・期間(90日)一杯はGCSを試してみて、料金や使い勝手が問題なければ本格的に使うつもりだ。

PS. 予想もしていなかったのだが、「面倒で使えない奴」と烙印を押した楽天モバイルのSIMが、上記のようにGCSの認証に役に立った。今後も何かに使えそうなので、このまま残すのも悪くない気がしている。

PS2. 完全に個人的な意見なのだが、下に出ているページのアイコンを見るだけで、AzureとGCSは どちらも同じような色遣いなのに、いかにMicorsoftにセンス・美意識がないかを強く感じる。なんで四角、しかも正方形なんだろうかと思う。「1000%ない」と思う。

それだけじゃ見た目だけになるから追加すると、ページの説明にしたって、Azureは"Blob storage"(しかも、そのあとに「テキストデータ」と出て来る・・・)だが、GCSは"Object storage"と、明らかにGCSが正確で分かりやすい。

こういうところから、「MSはクソ過ぎて大っ嫌い、Googleは好きじゃない」という感想になるｗ

(19:27 修正・補足)