【ITニュース解説】Neural Networks & Generative Models

人工知能（AI）の世界では、人間の知能を機械で再現しようとする試みが日々進められている。その中で特に重要な概念が、機械学習（ML）と深層学習（DL）、そしてそれらを支えるニューラルネットワーク、さらに近年注目を集める生成モデルだ。

機械学習はAIの一分野であり、機械がデータから学習し、人間のような知的な振る舞いを模倣する能力を指す。そして、深層学習は機械学習のさらに一部門で、人間の脳を模倣した多層構造のニューラルネットワークを用いることで、より複雑な問題解決を可能にする技術である。

ニューラルネットワークは、人間の脳が情報を処理する方法から着想を得て、コンピューターがデータを処理する仕組みを教えるAIの手法だ。このニューラルネットワークの中でも、データを生成する能力に特化したものが生成モデルと呼ばれる。生成モデルは、データがどのように作られるのかという根本的な仕組みを理解しようと努め、例えば写真の中の「少年らしさ」や「少女らしさ」を形作る要素を学習し、それに基づいて新たな画像を生成できるようになる。

生成モデルの一種に、敵対的生成ネットワーク（GAN）がある。これは、二つの異なるニューラルネットワークがお互いに競い合いながら学習することで、より本物に近い新しいデータを生成する深層学習のアーキテクチャだ。一方のネットワーク（生成器）がデータを生成し、もう一方のネットワーク（識別器）がそれが本物か偽物かを判定するという敵対的な関係を通じて、生成器はより精巧な偽物を、識別器はより正確な判定能力をそれぞれ高めていく。

人工ニューラルネットワーク（ANN）は、ディープラーニングの中核をなす技術であり、大規模で複雑な機械学習タスクを解決するのに非常に強力で、拡張性も高い。Google画像検索、AppleのSiriのような音声認識サービス、YouTubeの動画推薦、さらにはDeepMindのAlphaGoが囲碁の世界チャンピオンを打ち負かした事例など、ANNの応用例は枚挙にいとまがない。

ANNの歴史は古く、1943年に神経生理学者のウォーレン・マカロックと数学者のウォルター・ピッツが、生物学的ニューロンがどのように連携して複雑な計算を行うかという最初のモデルを発表したことから始まる。これが最初のANNアーキテクチャだった。しかし、その後の時代では計算資源の不足などにより「暗黒時代」と呼ばれる停滞期を迎える。1980年代になると、新しいネットワークアーキテクチャや訓練技術の開発により再び注目を集めるが、1990年代にはサポートベクターマシン（SVM）のような代替の機械学習手法が優れた結果と強固な理論的基盤を提供したため、再びANNは影を潜めることになった。

では、なぜANNは今日、再び脚光を浴びているのだろうか。その理由は主に三つある。まず、ニューラルネットワークを訓練するための膨大な量のデータが手に入るようになったこと。次に、GPU（画像処理装置）などのハードウェアやソフトウェアの進化により、飛躍的に計算能力が向上し、大規模なニューラルネットワークでも妥当な時間で訓練できるようになったこと。そして最後に、ANNが非常に大規模で複雑な問題において、他の機械学習手法を頻繁に上回る性能を発揮するようになったことだ。

マカロックとピッツが1943年に提案したニューロンの計算モデルは、入力を集約し、その集約された値に基づいて決定を下すという二つの部分で構成されていた。人工ニューロンは、一定数以上の入力が活性化すると自身の出力を活性化させる仕組みを持つ。初期の単純なニューラルネットワークでは、ある層のすべてのノードが次の層のすべてのノードに接続され、通常は単一の隠れ層しか持たなかった。これに対し、ディープラーニングシステムは、複数の隠れ層を持つことで「深さ」を実現している。

ディープラーニングシステムには、主に二つの主要なアーキテクチャがある。畳み込みニューラルネットワーク（CNN）と、リカレントニューラルネットワーク（RNN）だ。CNNは、画像のような空間データを扱う問題でよく用いられ、画像認識や物体検出などで優れた性能を発揮する。一方、RNNは、テキストや動画のような時系列データや順序性のあるデータの分析に適しており、自然言語処理における言語モデリング、音声認識、感情分析といった機能で利用される。CNNが畳み込み層を持つ一方、RNNはシーケンス内の以前のノードや後続のノードの活性化を再利用することで、より良い予測を行うという違いがある。

フランク・ローゼンブラットが1957年に発明したパーセプトロンは、線形閾値ユニット（LTU）と呼ばれる、少し異なる人工ニューロンに基づいた、最も初期のANNアーキテクチャの一つだ。LTUでは、入力と出力が0/1のバイナリ値ではなく数値になり、各入力接続には重みが関連付けられる。これは、入力の重み付き合計を計算し、その合計にステップ関数を適用して出力を生成する。単純なLTUは、線形二値分類に利用でき、入力の線形結合を計算し、結果が閾値を超えれば正のクラス、そうでなければ負のクラスを出力する。これはロジスティック回帰分類器や線形SVMモデルと似た機能だ。

ニューラルネットワークの訓練には、勾配消失問題という課題がある。これは、初期の入力層で勾配が非常に小さくなり、学習が遅くなる現象を指す。2010年、Xavier GlorotとYoshua Bengioは、この勾配消失問題の根本原因を指摘し、より良い活性化関数を使用することで解決できる可能性を示した。

ニューラルネットワークでは、出力のエラーに基づいてニューロンの重みとバイアスを更新するプロセスがあり、これはバックプロパゲーションと呼ばれる。活性化関数は、このバックプロパゲーションを可能にする上で不可欠だ。なぜなら、活性化関数が勾配を提供することで、エラーと共に重みとバイアスを更新できるからである。つまり、ニューラルネットワークは巨大な数学的関数であり、異なる層や異なるニューロンで異なる活性化関数を用いることで、さまざまな非線形性を導入し、特定の関数の解決に役立てることができる。

今日の深層学習の要件を満たすために、Amazon Web Services（AWS）のようなクラウドプロバイダーは多くのサービスを提供している。例えば、Amazon Augmented AI（Amazon A2I）は、機械学習の予測結果を人間が確認するワークフローを構築するのに役立つ。Amazon Comprehendは、自然言語処理（NLP）を用いて文書の内容から洞察を抽出し、Amazon Forecastは深層学習を活用して時系列予測を行う。また、Amazon Fraud Detectorは機械学習でオンライン詐欺を検出し、Amazon Translateは深層学習技術によって高品質な言語翻訳を提供するなど、幅広い分野で深層学習の導入と運用を支援している。

これらの技術は、現代のITシステムにおいて不可欠な要素となりつつあり、今後もその進化と応用が期待されている。