見出し画像

データの整理に追われてクラウドデータが蒸発した件

 こんにちは、如月翔也(@showya_kiss)です。
 今日はここ数日大人しくしていた件の理由についてちょっとお話させていただきたいと思います。
 基本的には失敗話、「こういう失敗には気をつけようね」というお話しで行きたいと思います。

ここ最近はObsidianにハマっていました

 ここ最近は「Remotely Save」というプラグインを使うと、手動ではありますがOneDrive、あるいはWebdavを使ってWindows/Mac/Linux/iOS/AndroidでObsidianの内容を同期できる事がわかり、いくつかテストを結構深めにやってみて「あ、これなら使えるな。便利だな。NotionとUpNoteとも棲み分けできるな」という結論に達したのでプラグイン関係やフォント変更、カスタムCSSスニペットなどをいじっていたのですが、それが一段落ついたので次の懸念事項と言うか、それを考えるのが面倒くさくてObsidianに逃げていた問題に直面することにしました。

逃げていた事、それはデータ整理です

 今まで考えるのが面倒で逃げていた事なんですが、ぶっちゃけるとデータ整理についてです。
 僕は割と几帳面な方なのでデータの類はできるだけ関連性のあるフォルダ構造にまとめるようにしていたんですが、音楽データについてだけ言うと「音楽フォルダ」を用意してiTunes/Apple Musicのデータ保管庫をそこに指定すると、音楽を再生するたびに勝手に「音楽フォルダ」の中にApple専用の知らないフォルダを掘ってデータを移していき、全部移していくのならまだマシなんですがデータが歯抜け状になって移動していくので、データのバックアップのタイミングやリカバリのタイミングで「音楽フォルダ」自体のファイルが徐々に消えていって、今当初100パーセント持っていたデータについて現在60パーセントくらいしかデータが無くなっており、ここ1週間で徹底的にあらゆるデータから引っ張ってきたところなんとかそれでも80パーセントくらいは復旧したんですが、今度は別に同名フォルダに「同名」「同名 1」みたいなフォルダを作ったり、最悪フォルダの中のアルバムフォルダ内に「1曲目.m4a」「1曲目 .m4a」を作るような最悪な動きを平気でするので若干ブチきれており、もうiTunes/Apple Musicは信用しないので「保存用音楽フォルダ」を別に用意してそこからインポートで別のiTunes/Apple Musicフォルダにコピーして使う事にしました。これなら何があっても音楽データは守れます。
 このデータをかき集めて複数のフォルダを合体させ、重複するファイルを自動で処理するとデータ欠損が発生するので最終的には目視確認しながら1800曲近くを保管しました。めちゃくちゃ疲れました。
 更に、音楽データだけが問題ではなく、僕が使っているパソコン3台のストレージが違う・クラウドストレージの容量が違うのも問題でした。

ストレージ問題

 今持っているパソコンでは一番ストレージが大きいのがゲーム兼開発用のWindowsで、ストレージはCドライブが1TB、Dドライブが2TBです。
 次に大きいのは同率2位なんですがM3MacBookAir15インチのSSDが512GB、Ubuntuを入れているAcerのAspire3のSSDも512GBです。
 クラウドで言うと僕はpCloudを2TB一生買い切りで持っており2TB、あとOffice365を契約しているのでOneDriveが1TBあります。
 これが問題で、今までWindowsはDドライブを増設しておらずCドライブだけの1TBだったのでpCloudかOneDriveだけで完全バックアップが取れたんですが、今のところ全部合わせたデータが1TB行っていないのでまだセーフなんですが、適当な運用をしているとpCloudがあっという間に1TBを超えるのです(実際超えました)。
 OneDriveは悪さしかしない腐れクラウドなので同期クラウドとしては完全に殺していたんですが、今Obsidianの保管庫の同期先として1TBをガッツリ使えるのでOneDriveはObsidian関係以外のデータを全部消して完全Obsidian専用クラウドにしたのですが、問題はpCloudで、本来持っているデータは700GBくらいがいいところ、プラスゲームのプログラムが入って1TBを超えたのでデータ領域を2TBのDドライブに移しただけで、本来データは700GBのままのはずなのですが、他のPCやWindowsでも容量が増えた事でデータの扱いが雑になり同じデータが複数のフォルダに存在するヘルスの良くない環境になっていたのです。
 なので、データのヘルスを良くするために計画を立てました。

ヘルスの良いデータの構成

 要するにヘルスの良いデータの構成とは

  1. すべてのPCに同期が必要なファイルは「Desk」としてpCloud経由で同期する

  2. 容量最大のWindowsにだけ置いておければ良いファイルは「Garage」としてpCloudに同期する

  3. Macだけで必要かつ同期保存が必要なファイルは「Mac」フォルダとしてpCloudに同期する

  4. Windows だけで必要かつ同期保存が必要なファイルは「Windows」フォルダとしてpCloudに同期する。「Garage」との違いは「Garage」はpCloud Drive経由で他PCから参照する可能性があるが「Windows」は他PCからは閲覧しない点

  5. Ubuntuだけで必要かつ同期保存が必要なファイルは「Ubuntu」フォルダとしてpCloudに同期する

  6. 本来「Desk」内でいいのだが、写真ファイルは別途「Picture」でPC3台に同期する

  7. 先刻も書いたが、「保存用音楽フォルダ」は別途同期をし、実際に音楽プレイヤーで使うのはこのフォルダからコピーしたデータを使う。本来データが重複するのは望ましくないが、30GBも無いデータだしまた食い違いを起こすと発狂間違いなしなのでその点は目を瞑る

 という状態であると結論付けました。

データをかき集めました

 一応それなりに整理はされているとは言え、「1データは1箇所にしかなく、かつ検索性が高い」環境には程遠かったので(主にpCloudの容量が大きく大雑把に運用していたため)、一回ローカルとクラウドからデータをかき集めて一箇所にまとめました。
 もちろん容量が膨れ上がるのでメインでの作業はWindowsのDドライブを使って行いました。
 問題になるのはローカルのデータとクラウドのデータが両方あり、場合によってタイムスタンプが前後するので、基本的には後のものを優先してデータを取得し、「Desk」「Garage」「Mac」「Windows」「Ubuntu」「Picture」に移動しつつ作業をして行ったんですが、作業の都合上整理が終わったファイルは一度消さないと「どこまでやったか」が不明になるので、一つ作業が終わるごとにコピーしてきたデータとpCloud上のデータを削除して行ったんですが、気づいたらpCloudのデータが全て蒸発していました。
 コピーしたつもり、作業したつもりで消したデータで、実は保存されていなかったデータが結構な量ありまして、かなり頭の痛い思いをしました。
 まあpCloudはデータを消した後30日間は復活できるので、ここ1週間の作業ですし、探し直すのは面倒でしたが見つけさえすれば復旧はできるので最終的には楽でした。というか、その心づもりがあったからこそ今作業に着手できたわけですし、多少ラフでも「分類」を間違わなければ都度修正しながら使っていけば「同期」なのでクラウド側も直っていくので、まあ一段落はしたわけですし最終的には着手して良かったのかな、と思います。
 なお、大きいデータはWindowsで処理してpCloudに流し込む作業を士ましたが、小さいデータと言うか実際にデータを確認しながら修正しつつやる作業はMacを使いました。
 pCloudって一気にデータを流すと止まってしまうので(放置して流れるならいいんですが止まってエラーを吐くので)pCloudを本当のドライブのように扱えるかなり堅牢なファイラーであるCommander Oneを使って作業しました(有料アプリです)。これでかなり楽できたので、明日にはデータの編集が終わってるんじゃないでしょうか……。
 この作業の合間合間に艦これで遠征出したり燃料ボーキ出撃を回して自然回復域を超えたので、バケツを使わないレベルでE-5-4フェニックス・Gloire掘りを一応一週間だけやろうかと思います。

いいなと思ったら応援しよう!