今注目されている小規模言語モデル(SLM)について解説

みなさまこんにちは。ID AI Factoryの黒住です。

AI技術が急速に進化する中で、ビジネス現場でのAI活用も重要視されるようになってきました。特に、ChatGPTなどに代表される、大規模言語モデル（LLM: Large Language Model）を活用した文章生成AIの活用は大きな賑わいを見せています。

そのような中、今回は、最近注目されることが増えた「大規模」言語モデルならぬ、「小規模」言語モデル（SLM: Small Language Model）についてご紹介したいと思います。

SLMとは？

SLMは、「Small Language Model」の略称で、日本語では「小規模言語モデル」と呼ばれます。SLMは、GPT-4などのような非常に大規模なAIモデル（Large Language Model）に比べて、比較的小規模なモデルを指します。

SLMはその名の通り、「LLMの規模を小さくしたもの」と考えると分かりやすいと思います。

例えば、いくつかのSLMに対して、『文章生成AIについて簡潔に説明してください』 という質問をした場合、以下のような回答が返ってきます。比較のために、よく利用されているGPT-4oの回答も載せていますが、いずれも合格点の回答が日本語で返ってきています。

Meta Llama3.1 （8B）

Google Gemma2 （27B）

OpenAI GPT-4o （LLM）

SLMが注目される理由

SLMが注目される背景には、従来の大規模言語モデル（以下、LLMと表記）が抱えている課題が大きく影響しています。

LLMはその規模の大きさから、動作させるために膨大な計算リソースが必要となり、運用コストも非常に高くなります。そのため、多くのLLMはクラウド経由でサービスが提供されていることが多く、これは「自社データを外部に出したくない」と考える企業にとって大きな障壁となっています。

さらに、既存のLLMを「自社の特定の業務に合わせてカスタマイズする」ことも、そのモデルの大きさから容易ではありません。

こうした状況の中で、「自社のサーバー環境内にLLMを構築したい」というニーズや、「自社独自の業務に合わせてLLMをチューニングしたい」というニーズが高まってきており、これらのニーズに応える形でSLMが注目されるようになっています。

SLMはモデルの規模が小さいため、自社サーバーでの運用や、モデルのカスタマイズが行いやすく、コスト面でも有利になります。

SLMのメリットとデメリット

SLMはLLMの課題を補うことができますが、必ずしも良いことばかりではありません。モデルの規模が「小規模」である点には、メリットとデメリットが存在するため、その特徴を十分に理解したうえで、適切な形で利用することが重要です。

SLMはLLMと比べると、文章の理解能力や回答の品質が低く、さまざまなタスクを汎用的に処理するのは得意ではありません。しかし、SLMは個別にチューニングしやすいという利点があるため、SLMを特定の領域（ドメイン）に特化してチューニングし、利用するケースが多くなります。

メリット

• 自社のローカル環境などでも動かすことが可能
• 独自にチューニングしやすい
• 実行に必要な計算コストが低い

デメリット

• 文章の理解能力や回答の品質が低い

例えば、非常に小さなSLMに対して少し複雑な質問をした場合、以下のように難解な回答が返ってくるケースがあります。

質問内容： 『QRコードとバーコードの違いは何ですか？専門用語を使わず、わかりやすく簡潔に解説してください。難しい内容がある場合は、身近な例え話に置き換えて説明してください。』

SLMの回答（パラメーターサイズ3B）

GPT-4oの回答

SLMの量子化

SLMは、その小さなサイズと効率性から、様々な場面で注目されていますが、その効率性をさらに高める方法として「量子化」があります。量子化とは、AIモデル内部の情報を圧縮してサイズを小さくする技術で、もともとコンパクトなSLMをさらに小型化することが可能です。

多くのSLMは、モデル内部の情報を16bitの浮動小数点で記録していますが、量子化を適用することで、これらの情報を4bitや3bitで表現することができます。これにより、モデルのサイズを1/4から1/5程度まで縮小することが可能です。

モデルのサイズが小さくなると、動作に必要なリソースも減少するため、リソースが限られているエッジデバイスやスマートフォンでもSLMを動かすことができるようになります。これにより、SLMはより広範な用途での活用が期待されています。

例えば、パラメーター数が270億（27B）のAIモデルであっても、4bitに量子化することでコンシューマー向けのPC環境で動かすことが可能です。小型のSLMでは、パラメーター数が70億～80億あたりのAIモデルも多いため、その場合は更に低スペックのPC環境でも動作可能になります。

今後の予測と取り組み

SLMは、今後さらに多くのビジネス分野での活用が予想されます。特に、データのプライバシーやセキュリティが重視される環境での利用や、エッジデバイスやスマートフォンでの活用が注目されています。

ID AI Factoryは、SLMの活用に積極的に取り組んでいます。現時点では、LLMと比べた場合の精度に課題はありますが、利用目的やドメインを考慮しながら適材適所でSLMを取り入れることで、より柔軟なソリューション開発にも取り組んでいます。

まとめ

今回は、小規模言語モデル（SLM）について、概要やメリットデメリット、そして量子化技術などについてお伝えしました。

SLMは、自社サーバーでの運用やカスタマイズの容易さ、そしてコスト面でのメリットがあり、非常に魅力的な技術です。また、SLMの量子化によって、エッジデバイスやスマートフォンでの利用など、新たな可能性も開かれつつあります。

一方で、文章理解能力や回答品質の面での課題も存在するため、「SLMをどのような形で組み込んでいくか」が重要になってきます。AIの技術は日々進化しており、SLMもその例外ではないため、私たちも、技術の進化に合わせて柔軟に対応していきたいと考えています。

それではまた、次回のコラムでお会いしましょう。