GPUとは

GPU（Graphics Processing Unit）は、もともとゲームなどの3次元の画像を画面に描くために作られたプロセッサです。画面の何百万もの画素について同じ種類の計算を一斉に行うため、単純な計算を大量に同時にこなす作りになっています。

CPUとの違い

CPUは、複雑な処理を1つずつ順番に、できるだけ速く実行するのが得意です。分岐の多いプログラムや、全体の制御に向いています。GPUは、1つ1つの処理の速さではCPUに劣ります。その代わりに数千もの処理を同時に進め、全体としての処理量を大きくしています。CPUは何でもこなす少数の熟練者、GPUは同じ作業を一斉に行う大人数のチームにたとえられます。

ディープラーニングで使われる理由

ニューラルネットワークの計算の大部分は、行列の掛け算と足し算です。同じ形の計算を大量のデータに繰り返すので、GPUの得意な処理にそのまま当てはまります。2006年にNVIDIAが、GPUで汎用の計算を行うための仕組みCUDAを発表し、GPUを画像処理以外に使うGPGPUが広まりました。2009年にはGPUで深いモデルの学習を大幅に速める研究が発表され、2012年のILSVRCで優勝したAlexNetも2枚のGPUで学習しました。

AIプロジェクトでの位置づけ

大規模言語モデルのように学習に膨大な計算を要するモデルでは、使えるGPUの台数やメモリの量が、扱えるモデルの大きさや開発期間を左右します。GPUは高価で電力も多く使うため、クラウドで必要な分だけ借りる方法もよく使われます。また、GoogleのTPUのように、ディープラーニング専用に設計されたプロセッサもあります。

覚え方

「CPUは少数精鋭、GPUは大人数で一斉作業」と覚えます。