ようやく、オンラインバックアップの構成が落ち着いた感じだ。自分でも予想していなかったのだが(でも、いつものことだw)、いろいろな問題が起こって二転三転して、想定外の結論になった。予想外に時間が掛かったし、今後も何かあるかも知れないので、早目に着手して良かった。それにしても、いつものことながら、予想外に疲れた。

結局、僕にはDuplicacyというオンラインストレージ対応のバックアップソフトとBackblazeのオンラインストレージB2 Cloud Storageを組み合わせるのが費用対効果で最適となった。バックアップするデータ量を減らして350GB程度(ストレージでのデータ量)にしたので※、少し余裕を見ても、月額US$2(年間2600円)程度になる見込みだ。(去年終了した)CrashPlanの個人プランは(いくらだったか忘れたが、調べたら)月額US$5だったので、従来の半分以下に(年間4千円程度も)減らせそうだし、後継のビジネスプランは月額US$10なので、来年継続するよりも大幅に安い。

※減らしたのは音楽データである。そのほとんどはCDを取り込んだもので、基本的には、データがなくなっても再度取り込めばいい。ところが、実際問題として、全部なくなった時に再度数百枚のCDを取り込む気にはなれない。が、今はSpotifyがあるから、そこにあるものはそれで聴けばいいだろうと考えた。

すると、バックアップが必要なのは、(ほんのわずかにある)自分の演奏や昔のカセット・LPなどからの曲やダウンロード購入したものや、手持ちやレンタルしたCDのうちSpotifyにないものだけとなるので、そういう曲を選別した。選別は、スクリプトを作って自動判別しようと思ったが、作るのが面倒だったので、手でアーティストごとに検索した。つもりだったが、実際には手持ちのCDについては調べてなかった。それは大変だ。。。やっぱり、お金に任せて全部バックアップするのがいいのかも知れない。

良く考えると、オンラインバックアップからしかリストアできない場合というのは、災害などでPC本体はおろか外付けHDDもなくなってしまった状態だろうから、そんな時はCDだってないだろうから、取り込み直すことはできない。また、Spotifyのレパートリーかどうかで分類すると、別のサービスに乗り換えたら再度分類する必要が出て煩雑だ(これはベンダーロックインのようなものだ)。そうすると、全部バックアップするか、全然しないか、特別なもの(例: 再入手不可能なもの)だけするかになる。全部はいかにも無駄なので、特別なものだけバックアップするのが良さそうだ。そういうものは果たして何枚あるだろうか? (調べるのはおもしろそうだ) → 結構な数になった。めぼしいもの112アルバム(約19GB)を追加バックアップしたら、B2の総データ量は410GBになった。 (8/12 4:14記)

なお、ストレージでのデータ量は圧縮されているため、元のデータ量はもっと多い。今の構成にする時に計算し直さなかったのだが、500GB程度はあるはずで、それが350GB程度までに減ったのはどうも信じられない。Duplicacyの性能がいいのかも知れないが、バックアップ対象設定の誤りで抜けがないか心配なので、追って確認したい。 → バックアップされたファイル一覧で確認したら、問題なかった。今回の構成にする時に更にデータ量を減らしていた。 (8/12 4:14記)

仮に従来と同じデータ量(1TB程度)をバックアップすることにした場合でも、月額US$5.1(年間6800円)程度となり、今までのCrashPlan(個人プラン)と同等になるから、しばらくは実際に掛かった料金を見ながら検討したい。

なお、Duplicacyはファイル変更の履歴を保存できるため、データ量が想定以上に増えないかやAPI実行回数が異常に増えないかの監視が必要だ(どちらも料金が増える原因のため)。

それにしても、バックアップソフトにDuplicacy, Duplicati, Duplicityと、似たような名前のものがいくつもあって、大変紛らわしい。"De-duplication"(重複排除)から来ているのだろうが、最初はどれだったのか気になる。どうでもいいことだが。

それはともかく、試したほとんどのソフトが(機能・性能・安定性の点で)まともに使えなかったのは全く嘆かわしい。Linuxで使うのにシンボリックリンクに対応していないもの、変更のスキャンや転送やリストアや変更履歴の整理(prune)が遅過ぎるもの、スリープ(からの復帰)に対応していないもの、処理を中断すると管理データが壊れるなど堅牢性や安定性に欠けるものなどがあった。僕の環境や使い方が特殊だとは思えないので、細かいことをちゃんと考えて作っていないのだろうか。バックアップソフトでそれは困るのだが・・・

そういう点で、Duplicacyは信じられないほど期待通りの機能・性能(「まとも」)なので感心している。転送速度が安定して高速(おそらくCrashPlanの10倍以上)なのはいいし、初回のバックアップは別として、その後のスキャンもpruneも高速かつ負荷が低い(おそらくCrashPlanの1/5以下)ので、定期実行するにはとても良い。いつものことだが、しつこく探してダメ元で試して良かったw そして、コマンドライン版が無料なのは大変ありがたい。コマンドの使い方が独特なので、GUIの方が楽だったとは思うが、設定が確定した後はGUIの価値はないので、毎年お金を払うよりはいいと思う。

運用の話を書くと、バックアップは6時間ごとに自動で行わせている。バックアップ間隔を短くする価値があるのか良く分からない(今は趣味だけなので、おそらくない?)ので、しばらく状況をみて調整したい。変更履歴は、1週間までは毎日1個、1か月(30日)までは1週間に1個、1年(360日)までは30日に1個残すことにした。これも、どういう設定がいいのか良く分からない。ただ、今まで、履歴を使ったことや欲しかったことがほとんどない(そもそも、オンラインからリストアしたことがほとんどない)ので、多くを保存する必要はない気はする。変更履歴の整理(prune)間隔は1日に1回とした。

バックアップの履歴の必要性について個人的な考えを書くと、おそらく、履歴は要らない。プログラムなどの開発の時に使う、gitなどのバージョン管理システムの方がずっといい。というのは、定期バックアップはいつ実行されるか不明なので、残っているものが必ずしも有用なもの(「欲しかったもの」)とは限らないからだ。手動で実施するにしても、忘れたり間隔が長くなり過ぎる可能性がある。それなら、キリのいい時に自分で(gitなどに)コミット(保存)した方がずっといい。コミット時にコメントも付けられるから、それがどういうものかも分かる。そして、そのリポジトリをバックアップしておけば、安心だろう。

あと、プログラムじゃないもの(例: システムの設定ファイル)については、「あ、やっちゃった!」と思ったら、そのファイル内にコメントとして残しておいたオリジナルに戻すか、記憶で戻すか、あらかじめ保存しておいたファイル(例: *.orig)に戻すか、すぐにバックアップ(もしあれば)から戻すか、再度作り直すかするかwするので、やっぱり履歴は要らない気がする。この場合は、バックアップ自体が役に立たないことが結構ある。

まあ、履歴に慣れ親しんだ人だと効果的に使えるのだろうけど、履歴に頼り過ぎてしまうと、過酷な環境では生きて行けなくなってしまうからw、余り良くないと思う。 (8/12 17:04)

少し話が逸れるが、運用に関連しているので書くと、このブログサーバのバックアップも、最終的にはB2にするようにした。今までは、週一回、PCの外付けHDDにバックアップするだけだったが、今回から、週一回のバックアップをPCの内蔵HDDに行い、そこを外付けHDDとDuplicacyのバックアップ対象にしておき、その後の定期バックアップでB2に送るようにした。実は、サーバにもDuplicacyを入れれば直接B2にバックアップすることが可能だが、サーバにB2のアカウント情報を入れるのは不安なので、このように間接的なことをしている。

実装の話になるが、バックアップなどを定期的に実行するのにはcrontabを使っている。crontabを使う際の問題として、スリープからの復帰後に、スリープ中に行われるべきだったスケジュールが実行されないために※、スリープ中にスケジュールがあると、最長6時間、バックアップが遅れる。そのため、バックアップコマンド(スクリプト)を2時間ごとに起動して、最長(6時間でなく)2時間の遅れで、スリープ中に行われるべきだったバックアップが行えるようにした。そして、そのコマンドの中で、前回からのバックアップやpruneからの経過時間が最小間隔(例: 6時間、1日)より短い場合には何もしないようにして、バックアップ間隔を維持するようにした。なお、コマンド起動間隔の2時間は1時間でも30分でもいいが、そこまで厳密でなくていいので、長目にした。

※実際の動作を見たら、スリープ中に行われるべきだったスケジュールは必ずしも実行されない訳ではなく、スリープからの復帰後に実行される場合がある(例: スリープ中だった14:04のスケジュールが復帰後の15:08に実行された)。ただ、実行されない場合もあったので、その違いが良く分からない。スリープが長時間で、複数回のスケジュールが飛んだ場合は実行を諦めるのだろうか。あるいは、復帰した時刻と実行すべきだった時刻の差で判断しているのか。あるいは、僕の思い違いで、最後に飛ばされた1回は必ず実行されるのか。マニュアルに書いてあるのかも知れないが、無精なので調べていない。 (8/12 16:10)

それから、仮にバックアップ処理が6時間以上に長引いた場合や間違って実行した時に複数のバックアップ処理が同時に実行されるのは良くないので、既に実行中の場合に後から実行したものは何もしないで終わるようにした。こういうのはGUIだと何も考えずに対処されるのだろうが、Linux版がないので仕方ない・・・

余談だが、光回線が予想以上に優秀で、上下同時に使ってもどちらも80Mbps以上出たので感心した。あと、今は基本的に転送データ量での速度制限はしない(以前、「混雑した時に制限するポリシーに変更した」という連絡があった)ようで、数日間、断続的に80Mbps前後でアップロードし続けていても大丈夫だった(いつ警告が来るか心配ではあったがw)。

光回線を上下同時に使っても80Mbps以上出た(左の「金 06」の上の上下に大きく振れているところ)。

(8/12 16:36 若干、加筆・修正)

  •   0
  •   0

10件のコメント

  1. Himajin:

    こんばんは。
    Acronis True Imageが使えなかった事により
    今ちょうどバックアップソフトに困っておりまして、
    れんとさんが使っていらっしゃる「Duplicacy」について、
    いくつか質問をさせて下さい。

    質問1.
    Acronis True Imageのように外付けHDD等にバックアップ出来るかどうか。
    (要は、市販の「バックアップソフト」と同様の事が出来るのか)

    質問2.
    料金はいくらかかるか。
    また、料金がかかる場合どのような支払い方を選択出来るのか。

    質問3.
    詳しい使い方等を書いているホームページ等があるか。

    以上が質問になります。
    お時間に余裕がある時で構いませんので、
    お答え頂ければ幸いです。よろしくお願いします。

    •   0
    •   0
  2. PiuLento:

    ●こんばんは。

    まず、僕はLinuxで使っておりますが、WindowsにはGUI版があるので、大丈夫そうですね。

    以下に回答致します。

    1. 外付けHDDなどにもバックアップ可能です。ただし、ファイルはブロック化されますので、そのHDDを開いても、バックアップしたファイルは見られず(ファイル名すら分かりません)、Duplicacyを使ってリストアする必要があります。

    2. GUI版の料金の概要は以下です。
    ・最初の1台: US$20
    ・以降、1年ごとに: US$5 (1台目)

    支払い方法はクレジットカードですが、メールで依頼すればPayPalも可能とのことです。

    詳細は https://duplicacy.com/buy.html をご参照下さい。30日間は無料で試せますので、一度使ってみるられるのがいいと思います。ダウンロードは、以下のページからできます。

    https://duplicacy.com/home.html

    3. 使い方は以下のページに書いてありますが、英語です。

    https://duplicacy.com/guide.html

    日本語の解説はほとんどなく、以下はMac版かつ古いですが、基本操作は同様と思います。なお、「無料」というのは、今は違います。
    https://minatokobe.com/wp/os-x/mac/post-26398.html

    以上、ご参考になれば幸いです。

    ちなみに、僕はまだ1週間しか使ってないですが、いい感じです。Linux版(コマンドライン版)ですが、他に試したソフトに比べて何もかもが高速で、快適です。

    •   0
    •   0
  3. PiuLento:

    ●あと、Windowsですと、僕は余り使ったことがないのですが、標準で入っているrobocopyというコマンドが使えるそうです。これはファイルがそのままコピーされます。ただ、下記のページをご覧になって分かるように、コマンドラインなので、手軽に使えるという訳ではないです。

    参考: https://qiita.com/hnishi/items/777949dd113234a08738

    ※僕はLinuxなので、ローカルHDDへのバックアップは、rsyncというコマンドを使っています。それのWindowsに相当するのがrobocopyです。

    •   0
    •   0
  4. Himajin:

    おはようございます。
    早速体験版をダウンロードしてみました。
    追加で質問があるのですが、よろしいでしょうか。
    ローカルHDDファイルのバックアップが出来る事は、
    分かったのですが、いわゆる「イメージバックアップ」は、
    出来ないのでしょうか。

    お時間に余裕がある時で構いませんので、
    お答えして頂ければ幸いです。よろしくお願い致します。

    •   0
    •   0
  5. PiuLento:

    ●「イメージバックアップ」は、ディスク全体を1ファイルにするということだと思いますが、残念ながらできません。

    起動ディスクをリストアしたら、そのままブートできるようにバックアップしたい時に要りそうですね。

    •   0
    •   0
  6. Himajin:

    お返事ありがとうございます。
    「イメージバックアップ」は出来ないのですね...
    れんとさんがご存知のソフトの中で、
    私の意図しているような事がソフトがありましたら、
    教えて頂けないでしょうか。引き続きよろしくお願い致します。

    •   0
    •   0
  7. PiuLento:

    ●そういえば、僕はWindowsの時、Acronis True Imageか何かを使っていたのですが、やっぱり駄目になったせいか、別のに移った記憶があります。

    何を使っていたかは覚えていないのですが、今調べたら、以下が見つかりました。

    ・EaseUS Todo Backup: https://www.easeus.com/backup-software/tb-free.html
    ・Macrium Reflect: https://www.macrium.com/reflectfree

    何となくEaseUSを使っていた気がします。EaseUSシリーズは、パーティション操作のアプリでも有名で、そっちは使ったことがあります。

    あと、Windowsの標準にもそういう機能はあるのですが、不便だったのか、僕も止めました。

    ・Win7: http://121ware.com/qasearch/1007/app/servlet/relatedqa?QID=013667
    ・Win10: http://pcfan.121ware.com/useful/1010/

    ご参考まで。

    •   0
    •   0
  8. PiuLento:

    ●今思い出したのですが、AOMEIという会社のバックアップソフトもあります。

    https://www.aomei.jp/backup-software/ab-standard.html

    僕が使っていたのは、EaseUSかAOMEIだったと思います。どれも無料版がありますので、試してみるといいと思います。

    •   0
    •   0
  9. Himajin:

    おはようございます。ご報告です!!
    Macrium Reflectをインストールして使う事が出来ました。
    日本語化されていない為、とっつきにくい印象はありましたが、
    日本語のマニュアルが見つかり、それに従って作業を進めました。

    初めての完全英語のソフトという事もあり、
    バックアップを完了するまでに時間がかかってしまいましたが、
    無料版でも必要充分の機能が備わっており、とても助かりました。

    今回はありがとうございました。とても感謝しています。
    良いソフトと巡り会えた気がして、すごく嬉しいです。

    •   0
    •   1
  10. PiuLento:

    ●どういたしまして。無事バックアップできて良かったです。日本語化されていないと、最初はとっつきにくいですが、調べると分かって来ますよね。

    •   0
    •   0

コメントを書く

名前    

メール 

URL