自然言語処理（NLP）の２大アーキテクチャーが市場の覇権を争っていますが、NLPに携わる開発者によれば、GPTが優位に立っているということです。Evans Dataは先月、半期に一度の人工知能・機械学習開発調査を実施しました。その中で開発者に、自己回帰モデルと双方向モデルのどちらがNLPプロジェクトに最適かを尋ねました。
自己回帰モデルと双方向モデルは、自然言語処理タスクで使われる2つの異なるアプローチです。GPTのような自己回帰モデルは、事前に与えられた単語を基に、次の単語を予測しテキストを生成しています。対照的に、BERTのような双方向モデルは、事前のに与えられた単語と後続する単語の双方から情報を取得し、言語をより深く理解することが出来ます。
開発者たちはGPT4を、他のどの言語モデルよりも使用している場合が多いのですが、挙げられたバージョン数に関しては、BERT の方に軍配が上がりました。NLPには多くの用途があります。NLPの開発者たちは、最も恩恵を受けているテクノロジーとして検索エンジンを挙げ、次に顧客サービス・アプリケーション、文法修正ソフトウェア、法的調査・契約書関連のソフトウェアと続きました。
AI/ML開発調査は春と秋の年2回実施されます。調査は、ニューラルネットワークやトランスフォーマー、ジェネレーティブAI、ディープラーニング手法、コンピュータービジョンと画像認識、NLP、機械学習フレームワーク、その他多くの詳細に及ぶ包括的情報に関して、開発者が最新のテーマでどんなことを行っているのかという内容を、180以上の新鮮なデータに基づき提供するものです。