データの収集・加工・分析・学習（シラバス 技術36）

データ準備の4つの段階

AIの精度は、手法よりもデータの量と質で決まることが少なくありません。実務では次の段階を行き来しながら進めます。

1. 収集：自社の業務データ、オープンデータセット、Webから集めたデータなどを用意します。
2. 加工：欠損や表記ゆれを直し、アノテーションで正解ラベルを付けます。
3. 分析：分布や偏りを確かめ、学習に使えるかを見極めます。
4. 学習：学習用・検証用・テスト用に分け、モデルを学習して評価します。

オープンデータセットとコーパス

オープンデータセットは、研究や開発のために公開されたデータの集まりです。画像認識のImageNetやMicrosoft COCOが代表例で、手法の性能を同じ条件で比べるベンチマークにも使われます。コーパスは、文章や発話を大量に集め、コンピュータで検索や分析ができるように整えたデータです。言語モデルの学習などに使われます。

使う前に、次の3点を確かめます。

• 利用条件：ライセンスで商用利用の可否や出典の表示が決められています。公開されていても、条件の範囲でしか使えません。
• 偏り：撮影地域や話者の属性が偏っていると、自社の利用場面で精度が落ちます。
• 権利：Webから集めたデータには、著作物や個人情報が含まれることがあります。著作権法や個人情報保護法の扱いも確認します。

どこから、どのように集めたかを記録しておくと、後で問題が見つかったときにたどれます。

アノテーション

アノテーションは、データに正解ラベルやタグを付ける作業です。画像なら物体を囲む枠、文章なら感情の分類などを付けます。教師あり学習では、ラベルの質がモデルの性能を左右します。

• 判断に迷う例を含めた作業基準を作ります。
• 同じデータを複数人で付け、一致の度合いを確かめます。
• 外部委託やクラウドソーシングで量を確保するときも、抜き取りで検査します。

データリーケージ

データリーケージは、本番の予測時点では使えない情報や、評価用のテストデータの情報が学習に紛れ込み、検証の評価だけが不当に高くなる現象です。本番に出すと精度が大きく落ちます。

典型例	起きていること	防ぎ方
解約予測に「解約受付日」の列を入れる	答えそのものが特徴量に入っている	予測の時点で手に入る情報か確かめる
売上の時系列データをランダムに分割する	未来のデータで過去を当てている	時間の順に分割する
同じ患者の画像が学習用とテスト用の両方にある	個人の特徴を覚えて当てている	患者単位で分割する
全データの平均で正規化してから分割する	テスト用データの情報が学習側に漏れている	学習用データだけで統計量を求める

検証の精度が不自然に高いときは、まずリーケージを疑います。