RAM は 4 ～ 8GB しかありませんか?これらのローカル LLM は PC 上で直接動作できます
重要なポイント
- ローカル LLM を利用したチャットボットを使用すると、データのプライバシーが強化され、チャットボットの可用性が向上し、毎月のオンライン AI サブスクリプションのコストを最小限に抑えることができます。
- ローカル LLM を利用したチャットボット DistilBERT、ALBERT、GPT-2 124M、および GPT-Neo 125M は、4 ～ 8GB の RAM を搭載した PC で適切に動作します。
大規模言語モデル (LLM) を利用したローカル AI チャットボットは、正しくダウンロードして設定した場合にのみコンピューター上で動作します。通常、正常に動作するには大量のコンピュータ メモリ (RAM) が必要です。ただし、いくつかの優れたモデルは、わずか 4 GB の RAM を搭載したコンピューターでも実行できます。
ローカル LLM チャットボットを使用する理由
オンライン AI チャットボットは、日々の効率を大幅に向上させる強力なツールです。必要な内容を入力すると、これらの LLM が指示に基づいてテキストを作成します。 AI チャットボットの使用にまだ慣れたばかりの場合は、ChatGPT、Claude、Perplexity の違いに関する比較記事を参照して、基本を理解してください。
人気のオンライン オプションではなく、ローカル チャットボットを使用する理由は何ですか?まず、自分だけが会話できるチャットボットがあるのは単純に楽しいです。ただし、最終的には、プライバシー、可用性、コストをどれだけ重視するかによって決まります。
恥ずかしいと思う人もいるかもしれませんが、オンラインのチャットボット作成者が私のチャット履歴を見て、七面鳥をローストするのにどれくらい時間がかかるか、靴を適切に磨く方法を知る必要があるかどうかを知ることができても、私はそれほど心配していません。いずれにせよ、チャットボットと共有したい情報があり、常に私たちの間に留まるべきです。
たとえば、私は財務を整理するために、ローカルの LLM を利用した GPT-Neo 125M チャットボットを最もよく利用しました。学生ローンの支払いや利息の計算など、非常に複雑になる場合があります。アイデアについて話し合ったり、ラップトップから逃れて私の秘密を売ったりすることができないローカルのチャットボットに質問することは、非常に役立ちます。
また、ビッグデータ侵害は恐ろしいほど頻繁に発生していることも考慮する必要があります。そのため、自分自身や愛する人に関する機密情報は、大手 AI 企業のデータベースに保存するよりも、自分のパソコンに保存した方が良いでしょう。
同様に、一部のローカル チャットボットは、インストールするとインターネットに完全に依存しないため、チャットするためにインターネットに接続する必要はありません。更新のために時々インターネット アクセスが必要になる場合もあります。それでも、ローカルのチャットボットは、重要な瞬間にサービスが停止することを心配する必要がないため、オンラインのチャットボットよりも確実にアクセスできます。
最後に、オンライン チャットボットは、会社に数億ドルの購読料をもたらします。有名な ChatGPT モデルを開発した OpenAI は現在、最新のチャットボットへのアクセスに月額 20 ドルを請求しています。近いライバルである Anthropic も、最先端の機能に対して月額 20 ドルを請求します。複数のサービスに加入する場合は、年間 240 ドル以上を支払う必要があります。
ローカル チャットボットは、そのようなコストの軽減に役立ちます。ただし、すべてが無料というわけではありません。 OpenAI の GPT-3 のように、ライセンスや使用料が必要なものもあります。ただし、いくつかのオープンソースのローカル チャットボット モデルは無料でダウンロードして使用できます。これらは、より簡単な問題に対して戦略的に使用する必要があります。したがって、どうしても必要な場合にのみ、明らかにより高度なオンライン バージョンにアップグレードします。
これらの LLM チャットボットは低 RAM PC 上で実行されます
私が低 RAM PC で動作する LLM を利用した無料のチャットボットを複数入手する必要があったのは、主に最近までそれが私に余裕があったからです。
そのため、DistilBERT モデルと ALBERT モデルは非常に軽量であることもあり、セットアップが最も扱いやすいことがわかりました。軽量とは、これらのモデルがメモリ使用と処理能力に関して非常に効率的になるように設計されていることを意味します。これにより、他のオンライン チャットボットであれば簡単に処理できる複雑なタスクに対するチャットボットの能力が制限されます。しかし、どちらもわずか 4 GB の RAM で快適に実行できます。これは、Hugging Face の開発者の大きな功績です。
DistilBERT では、Hugging Face の開発者が設計を最適化することで、小型で効率的なモデルに多くのパワーを詰め込みました。 DistilBERT は、これまでに入手可能なモデルの中で最も効率的ではないにしても、1 つだと思います。
ALBERT は、多くのメモリを使用せずにデータを迅速に処理できるようにモデルの一部を共有することで動作するため、DistilBERT とは異なる設計になっています。
高メモリの PC を使用している場合でも、初心者としては DistilBERT と ALBERT から始めることを強くお勧めします。これら 2 つのモデルから始めることで、より大きなモデルの複雑さに圧倒されることなく、基本を学ぶことができました。
野心的な場合、または 8 GB 以上のマシンをお持ちの場合は、BERT を飛び越えて OpenAI の GPT-2 モデルを使用することもできます。これは、ローカル AI 世界のスイス アーミー ナイフのようなものです。 GPT-2 モデルにはさまざまなサイズがあり、一部のモデルは他のモデルよりも低 RAM の PC に適しています。
124M パラメータのバージョンが最も軽量です。 124M は兄弟のオンライン チャットボットよりも強力ではありませんが、言語作成に強力な機能を備えており、私の経験では、2 つの BERT と同等か、それ以上の言語作成能力があります。
私のお気に入りの軽量 LLM は、調整可能なカスタマイズ オプションがあるため、GPT-Neo 125M です。これは EleutherAI の尊敬される開発者によって開発されたもので、GPT-2 のオープンソースのいとこに似ています。
Neo 125M は、パフォーマンスとリソース要件のバランスを取るように設計されています。このモデルのパフォーマンスは GPT-2 と同等ですが、メモリをより効率的に使用するように調整されています。多くのタスクに十分強力でありながら、わずか 8GB で実行できるほど軽量ですが、それ未満では動作しません。
ローカル LLM チャットボットを使い始める方法
独自のチャットボットを実行するのは、思っているよりも簡単です。まず、コンピュータで何ができるかを知る必要があります。メモリ (RAM) の量とコンピュータの速度を確認してください。上記の情報を使用して、コンピュータのシステムが必要なチャットボットで動作できることを確認してください。
これを理解したら、適切なソフトウェアをダウンロードできます。 Docker と呼ばれるものが必要になる場合があります。これは、コンテナーと呼ばれる特別なボックスでアプリケーションを実行し、どのコンピューターでも同じように動作するようにするのに役立つツールです。
Hugging Face や GitHub などの Web サイトで LLM ソフトウェアを探してください。使用する各モデルの説明を必ず読んで、その動作を理解してください。ダウンロードしてチャットしましょう。モデルのソフトウェア更新の可能性にも注意してください。
コンピューターの性能がそれほど高くない場合は、DistilBERT または ALBERT から始める必要があります。さらに詳しく学ぶにつれて、Windows 用の包括的な GPT-2 インストール ガイドで GPT-2 を試したり、LM Studio ガイドで他の多数のモデルを試したりすることができます。
疑問があるでしょう。オンライン コミュニティやフォーラムですでに多くの回答が得られている可能性があります。何かの時点で行き詰まった場合は、Reddit の r/MachineLearning、Hugging Face コミュニティ、または LLM の仕組みに関する詳細な記事をチェックしてください。
ハードウェアが原因でローカル LLM チャットボットに挑戦することを妨げないようにしてください。メモリの少ないシステムでも効率的に実行できるオプションがたくさんあります。今日試してみてください!