イテレーションとは

イテレーションは、ニューラルネットワークの学習で、重みを1回更新することを1と数える単位です。英語のiterationは「反復」という意味で、ステップと呼ぶこともあります。ミニバッチ学習では、1回のイテレーションで、ミニバッチ1つ分のデータから勾配を求め、重みを1回更新します。

エポックとの違い

エポックは、訓練データ全体をひと通り使い切った回数です。イテレーションは、重みを更新した回数です。ミニバッチ学習では、次の関係があります。

• 1エポックのイテレーション数 = 訓練データ数 ÷ バッチサイズ
• 総イテレーション数 = 1エポックのイテレーション数 × エポック数

たとえば8,000件のデータをバッチサイズ40で学習すると、1エポックは8,000 ÷ 40 = 200イテレーションです。これを15エポック続けると、総イテレーション数は200 × 15 = 3,000回です。

バッチサイズを大きくすると、1エポックあたりのイテレーション数は減ります。全データで1回更新するバッチ学習では、1エポックが1イテレーションです。1件ずつ更新するオンライン学習では、1エポックのイテレーション数がデータ数と同じになります。

なぜ区別するのか

学習の設定や記録では、エポック数で書く場合と、イテレーション数で書く場合があります。学習率を下げる時期や、検証データで性能を測る間隔も、どちらかの単位で指定します。単位を取り違えると、学習の量を大きく見誤ります。たとえばバッチサイズを変えると、同じエポック数でも更新回数が変わります。

別の分野のイテレーション

アジャイル開発では、数週間程度で区切った短い開発の周期をイテレーションと呼びます。同じ言葉でも意味が異なるので、文脈で区別します。

覚え方

「イテレーションは更新回数、エポックは周回数」と覚えます。