【プログラミング超初心者の悩み①】データクレンジングはいつ、どっちでやるべきか？copilotの回答付
こんにちは。
先日、Excel VBAの記事に思いのほか反響を頂きました。DXやICTのプロが勢揃いしているnoteにおいて、こんなど素人の記事を読んでいただきとても嬉しかったです。
そこでこれを機に自分プログラミングの悩みや勉強の内容をどんどん発信してっちゃおう！と、プログラミング超々初心者の悩みも投稿していくことに決めました。
あくまでも超ーーー初心者の悩みなので、あ、この人そんなことで悩んでるんだ！？と、温かい目で見てもらえたら幸いです。
また、自分としても一年後に、あ、自分ってこんなことで悩んでたんだ？と成長を感じられるきっかけになれば良いなと思います。
データクレンジングはいつどこでやるべきか
1.今回の悩み_データをきれいにするタイミング
Excelのデータを何かデータベースの箱(AccessとかPower QueryとかBIツール)にテーブルやクエリとして格納したい時、データをきれいにする作業ってありますよね。重複を削除したり、データ型に合わせて整理したり、空白を削除したり、ハイフンがあるのかないのか、半角に直そう…などなど。
この作業ってExcelの時点でやるべきなのか、それとも抽出したままのデータをポンと特定のフォルダに格納すれば、SQLなどで処理できるようにするべきなのか。
今までExcelレベルである程度重複を削除したりとか、予めエラーチェック&エラー修正用の関数をガチャガチャ組んだシートを用意しておいて、そこにデータをペーストして不要なデータを削除したり変換したりキーを作ったりしてある程度データが整ってからデータを接続していました。←伝わりますかね？
自分がプログラミングするという選択そのものがなかったので。
でも、Power Queryを使ったりVBA、SQLの本を読み進めていくうちにそれもあまりスマートではないよな？と思い始めたのです。
2.copilotに聞いてみた
質問内容
AccessにExcelのデータを追加する場合、データクレンジングはExcel上でやるべきですか、それともAccess上でやるべきですか？
回答
データクレンジングは、データの質を確保するために重要なステップです。ExcelとAccessのどちらでクレンジングを行うべきかについては、以下の点を考慮してください：
●Excelでのデータクレンジング
1.メリット
①柔軟な操作Excelはデータの編集や変換に柔軟で、簡単にデータを修正できます。
②視覚的な操作
データが見やすく、一目で問題を確認できます。
③関数とツール各種
関数やツール（フィルター、条件付き書式など）が豊富で、データのクレンジングに役立ちます。
2.デメリット
①大規模データの処理
非常に大量のデータを扱う場合、Excelはパフォーマンスが低下することがあります。
●Accessでのデータクレンジング
1.メリット
①データの整合性
データベースとしてのAccessは、一貫性と整合性を保つためのツールが豊富です。
②クエリ
SQLクエリを使って複雑なデータ操作やクレンジングが可能です。
③大規模データの処理
大規模データの処理において、Excelよりもパフォーマンスが高い場合があります。
2.デメリット
①学習曲線
Excelと比べて、Accessの操作には少し慣れが必要です。
②リアルタイムの編集が難しい
データを視覚的に操作するのはExcelほど簡単ではありません。
●結論
1.小規模で視覚的なクレンジングが必要な場合:** Excelでデータをクレンジングし、その後Accessにインポートする方法が適しています。
2.大規模で複雑なクレンジングが必要な場合:** 最初にAccessにデータをインポートし、Access内でクレンジングを行うことをお勧めします。
3.所感
AIの回答は上記でしたが、実際にデータを取り扱う人の実感としてはいかがでしょうか。
私としては、せっかくVBA、SQLとか勉強してるので今後は何万件レベルのデータを処理する場合、クエリ上でデータクレンジングすることをもっと積極的に考えたいなと思いました。
結局copilotとしては、そんなんどっちでやるかはデータの規模とか性質に応じて自分で考えろや！！っていう回答ですかね。
はい、そうします。笑