前処理

集めたままのデータは、宝の山のように見えて、実は原石の山です。手を加える前の、生まれたままのデータを「生データ」と言います。この生データには、様々な種類の情報が混ざっています。例えば、人の言葉で書かれたもの、数字、記号などです。アンケート調査を例に考えてみましょう。質問に答える欄に自由に書き込んでもらう場合、人それぞれ違う言葉で思いを表現します。一方、いくつかの選択肢から選んでもらう質問の場合には、どの選択肢を選んだのかが記録されます。このように、集め方によってデータの種類も変わってきます。これらのデータは、まだそのままでは分析に適していません。料理に例えると、食材をそのままでは食べられないのと同じです。野菜を切ったり、肉に火を通したり、下ごしらえをすることで、初めて美味しく食べられます。生データも、きちんと整理し、整えることで、初めて意味のある情報に変わります。この整理や整える作業こそが、データ分析の最初の大事な一歩です。質の高い分析結果を出すためには、この作業が欠かせません。生データの中には、数字ではないものもたくさん含まれています。例えば、アンケートの自由記述欄への回答は文字データです。また、性別や職業といった情報も、数字ではなく文字で表されます。これらのデータを分析するためには、まず数字に変換する必要があります。性別であれば、男性を「１」、女性を「２」のように番号を割り振ることで、数字として扱うことができるようになります。このように、数字ではないデータを数字に変換することを「数量化」と言います。数量化することで、様々な計算ができるようになり、データからより深い意味を読み取ることが可能になります。また、生データには記入ミスや漏れといった、質の低いデータが含まれていることもあります。このような質の低いデータは、分析結果の精度を下げてしまうため、取り除く必要があります。質の低いデータを取り除き、質の高いデータだけにすることで、より信頼性の高い分析結果を得ることができます。このように、集めたままの生データを分析に使える形に整える作業は、データ分析において非常に重要です。この作業を丁寧に行うことで、初めてデータの真の価値を引き出すことができるのです。