これまでAI(人工知能)の開発競争は、性能の指標となる「パラメーター数」や学習するデータ量、計算資源を大規模化することによって繰り広げられてきた。だがここに来て、テクノロジー大手は小型化に注目している。
小規模言語モデルのメリット
オープンAIの「Chat(チャット)GPT」のような、巧みに言葉を操る生成AIは、大規模言語モデル(LLM)を基盤として構築されている。だが、米ウォール・ストリート・ジャーナル(WSJ)によれば、オープンAIの「GPT-4」のようなLLMの開発には、1兆を超えるパラメーターや1億ドル(約160億円)以上の費用が必要になる。
一方、小規模言語モデル(SLM)は法務文書のような、より限定的なデータセットで訓練され、その訓練費用は1000万ドル(約16億円)以下、パラメーター数は100億以下で済む。必要となる計算処理も少なく、質問のたびに発生するコストも低くなる。
何よりも、サーバー側で動く高価なGPU(画像処理半導体)がなくても、CPU(中央演算処理装置)など端末側のプロセッサーを使って動かすことができるので、処理速度が速い。
![JBpress(日本ビジネスプレス)](/wp-content/uploads/2019/07/logo_jbpress-2019.png)
本記事は、日本ビジネスプレス社のサイト「JBpress(日本ビジネスプレス)」向けに弊社が執筆した記事「大企業は小規模に注目、AIは小型・低費用が時に優位 AppleやMicrosoft、速度向上・専門性・開発費削減に期待」の一部です。全文は、JBpress(日本ビジネスプレス)のサイトにてお読みください。