TPUとは

TPU（Tensor Processing Unit）は、Googleがニューラルネットワークの計算のために設計したプロセッサです。特定の用途に絞って作る集積回路（ASIC）の一種です。名前のテンソルは、ニューラルネットワークで扱う多次元の配列を指します。

なぜ専用のプロセッサを作ったのか

2013年、Googleは、利用者が音声検索を1日3分使うようになると、音声認識のニューラルネットワークの計算のためにデータセンターを2倍に増やす必要があると見積もりました。汎用のCPUでまかなうと費用がかさみすぎるため、推論用の専用チップの開発を急ぎました。2016年に公表した時点で、すでに1年以上データセンターで使っていました。AlphaGoがイ・セドル九段と対局したときにも、TPUが使われました。

仕組みの特徴

TPUの中心には、掛け算と足し算を行う多数の回路を格子状に並べた行列演算ユニットがあります。データを隣の回路へ順に流しながら計算を進めるため、メモリの読み書きを減らせます。また、ニューラルネットワークは計算の精度を多少落としても結果がほとんど変わりません。初代のTPUは主に8ビットの整数で計算し、回路を小さくして同じ電力でより多く計算できるようにしました。

2017年の論文では、初代のTPUは推論で、同時期のCPUやGPUより平均で15〜30倍ほど速いと報告されました。同じ2017年に発表された第2世代からは、学習にも使えるようになりました。

GPUとの違い

GPUは画像処理から発展した、比較的用途の広い並列プロセッサです。TPUは行列演算に絞った分、分岐の多い処理や高い精度を要する計算には向きません。TPUは主にGoogle Cloudを通じて利用します。

覚え方

「TはTensorのT、行列計算に絞ったGoogle製」と覚えます。