ビッグデータとは

ビッグデータは、インターネットやスマートフォン、センサーの普及によって生まれた、桁違いに大きなデータを指す言葉です。Webの閲覧履歴、ネット通販の購買記録、SNSの投稿、工場の機械や自動車のセンサーの値などが代表例です。

3つのVで考える

ビッグデータの特徴は、次の3つのVで説明されることが多くあります。

• 量（Volume）：1台のコンピュータでは保存や処理が追いつかないほど多い。
• 多様性（Variety）：表形式のデータだけでなく、文章・画像・音声・動画のように形式の決まっていないデータも含む。
• 速度（Velocity）：データが絶えず生まれ、すばやく処理する必要がある。

アメリカ国立標準技術研究所（NIST）の定義のように、データの流量や形式が時間とともに変わること（Variability）を加えて説明することもあります。

機械学習との関係

専門家の知識を人が書き込む方法には、知識獲得のボトルネックという限界がありました。データから規則やパターンを自動で学ぶ機械学習は、データが多いほど力を発揮します。ビッグデータの普及が、スパムフィルタ、レコメンデーションエンジン、統計的自然言語処理の実用化を後押ししました。2010年代のディープラーニングの発展も、大量の学習データと計算資源の向上に支えられています。

注意したい点

データは多ければよいとは限りません。偏ったデータからは、偏ったモデルが生まれます。また、特徴量の数を増やしすぎると、必要なデータ量が急激に増える次元の呪いが起こります。個人に関するデータを扱う場合は、個人情報保護法などの法令への配慮も必要です。