計算のどこを2値化したのか

Binarized Neural Networksでどこを2値化して,どこは実数のまま計算しているかまとめた.

重みW:推論で入力と積をとるところは2値,学習のときは実数(ただし-1 to 1にクリッピング)
積和s:推論のときは整数.学習のときも整数.
活性a:推論のときは実数で積和sを計算するときだけ2値,学習のときは実数値も2値も使う

重み勾配gW:学習のときは実数.添え字bが付いているけど2値じゃない
積和勾配gs:学習のときは実数.
活性勾配ga:学習のときは実数.活性aの絶対値が1以上のときは0.

2値の部分が驚くほど少ない.また実数で計算したものを2値化しても計算上のメリットがない.Binarizedと言っている割に性能が出ていないのはうなずける.2値化したなら,消費電力は3桁削減できないとおかしいのにそうなってない.

広告