CPUとは

CPU（Central Processing Unit）は、中央処理装置とも呼ばれるプロセッサです。

設計の特徴

CPUは、一連の命令を順番に、できるだけ速く実行することを重視して作られています。NVIDIAのCUDAプログラミングガイドによると、CPUが同時に進められる処理の流れ（スレッド）は数十程度です。その代わり、GPUと比べて多くのトランジスタを、データを一時的に置くキャッシュや、処理の流れを制御する回路に割いています。条件によって処理が分かれる複雑なプログラムや、全体の制御に向いています。

GPUは反対に、演算を行う回路に多くのトランジスタを割き、数千のスレッドを同時に進めます。TPUはさらに行列演算に絞った専用のプロセッサです。

ディープラーニングでの役割

ニューラルネットワークの学習の計算の大部分は行列の掛け算で、この部分はGPUやTPUのほうがはるかに速く処理できます。ただし、GPUやTPUだけでプログラム全体が動くわけではありません。データの読み込みや前処理、学習の進行の管理などはCPUが受け持ちます。初代のTPUも、ホストのサーバーから命令を受け取って計算する補助的な装置（コプロセッサ）として設計されました。

CPUだけで足りる場面もあります。Google Cloudの資料は、柔軟さが求められる試作、短時間で学習できる単純なモデル、小規模でバッチサイズの小さいモデルなどを、CPU向きの例に挙げています。

覚え方

「CPUは何でもこなす司令塔、GPUとTPUは行列計算の実働部隊」と覚えます。