ローカルLLMとは？クラウド型AIとの違いは「どこで計算するか」｜必要なPC環境と始め方

ローカルLLMとは、ChatGPTのようにクラウド上のサーバーで動かすのではなく、自分のパソコンやスマートフォンなど手元の機器の中でAIモデルを動かす使い方を指す言葉です。

同じAIモデルを使う場合でも、判断が分かれるポイントがいくつかあります。

(a) どのくらいの計算資源（メモリやGPU）を持っているか (b) モデルのサイズ・量子化・使いたい用途に必要な速度や扱える文章量のバランス (c) 使いたいモデルがオープンウェイト（重みが公開されているか）かどうか (d) プライバシーやオフライン利用がどれだけ必要か、です。

この記事では、ローカルLLMの意味からクラウド型との違い、必要なPC環境の考え方、始める前に押さえておきたい点までを整理していきます。読み終えると、自分がやりたいことにローカルLLMが向くかどうかを判断できます。

ローカルLLMとは、AIモデルを自分の機器の中で動かす使い方

LLM（大規模言語モデル）は、生成AIを動かすための頭脳にあたる部分です。この頭脳をどこで動かすかによって、呼び方が変わります。

クラウド型（ChatGPT等）との違いは「どこで計算するか」

ChatGPTやClaudeのようなクラウド型は、送った文章を相手の会社のサーバーで処理し、その結果を返してもらう仕組みです。

ローカルLLMは、これと逆に、自分の機器の中でモデルを動かし、その場で計算を完結させます。インターネットに接続していない状態でも動かせるものが多いのが特徴です。

必要なPC環境はモデルサイズ・量子化・コンテキスト長で変わる

ローカルLLMを動かすのに必要なPC環境は、一律には決まりません。

Ollamaの公式モデルページは、パラメータ数（モデルのサイズ）70億（7B）のモデルでおおむね8GB以上、130億（13B）のモデルでおおむね16GB以上、700億（70B）のモデルでおおむね64GB以上のメモリを目安としています。

この数字は代表的な設定を前提にした目安であり、量子化（モデルの情報量を圧縮してサイズを小さくする処理）の方式や、一度に扱える文章量（コンテキスト長）を増やすかどうかによって、実際に必要なメモリは変わります。

量子化を強くかけるほどモデルは軽くなりますが、代わりに回答の精度が落ちることがあるという、サイズと精度のトレードオフがあります。ローカルで動かしているからといって、ハルシネーションのような回答の誤りがなくなるわけではありません。

ツール上では「Q4」「Q8」のような表記で量子化の強さを選べることがあります。数字が小さいほど圧縮が強く、ファイルサイズと必要メモリは小さくなる一方、数字が大きいほど元のモデルに近い精度を保ちやすくなります。

パソコンによってはllama.cppやGPT4Allのように、比較的軽い環境で動かせるよう設計されたソフトも選択肢になります。GPUを搭載していると計算を高速化できますが、GPUがなくてもCPUだけで動かせるモデルもあります。速度は遅くなりますが、動かせないわけではありません。

「オープンウェイト」「オープンソース」との関係：ローカル実行とは別の軸

「ローカルLLM」と「オープンウェイトモデル」は、混同されやすいものの別の軸の話です。

「どこで動かすか」がローカル実行の軸だとすれば、「モデルの中身をどこまで公開しているか」がオープンウェイト・オープンソースの軸です。

ジョージア工科大学の研究者は、オープンウェイトモデルについて、学習済みの重み（パラメータ）を比較的制限の少ない条件で再配布・利用できるようにしたものだと説明しています。

一方で、学習に使ったデータや学習用のコードまでは公開されないことが多く、多くの開発者が考える「本当のオープンソース」とは、この点で一線を画すとも説明されています。

つまり、オープンウェイトモデルを自分のPCでローカル実行することもできますし、同じオープンウェイトモデルをクラウドのAPI経由で使うこともできます。ローカル実行できるかどうかと、公開度合いがどうかは、別々に確認する必要があります。

Llama、Qwen、DeepSeekといった名前を目にすることがありますが、これらはいずれも重みが公開されているモデルの例として紹介されることが多いモデル群です。個別の性能を比較する記事ではないため、ここではどのモデルが優れているかには踏み込みません。

プライバシーは「情報が一切出ない」という意味ではない

ローカルLLMがよく選ばれる理由の一つに、プライバシーへの配慮があります。

Ollama公式のプライバシーポリシーは、「ローカルで動かしている場合、プロンプトや応答内容には一切アクセスしない」と明記しています。

ただし同じポリシーは、アプリのバージョンやリクエスト回数、モデルのダウンロード状況といった、内容を含まない利用状況の情報は収集しうるとも説明しています。

さらに、ローカルLLM本体とは別に、それを使うアプリや外部サービスとの連携（社内データを検索して回答に使うRAGの仕組みなど）を組み合わせる場合は、その連携先へ情報が渡ることもあります。

「ローカルで動かしているから情報は一切外に出ない」と単純に考えず、使っているツール・連携先ごとに何が送信されうるかを確認することが大切です。

社内の機密情報を扱う業務でローカルLLMの活用を検討している場合は、どこまでを社内で完結させるかの整理が必要になります。相談したい場合は、お問い合わせはこちらからご相談ください。

どんな用途に向くか、始めるときの考え方

まず、何のために使いたいかを決めてください。通信環境がない場所での作業や、社外に出したくない情報を扱う用途であれば、ローカルLLMの向く範囲に入ります。

次に、手元の機器がどのくらいのメモリを積んでいるかを確認してください。OllamaやLM Studioのように、モデルごとの目安を示してくれるツールを使うと、自分の機器で動くモデルのサイズを判断しやすくなります。

最後に、使いたいモデルが**どの程度公開されているか（オープンウェイトかどうか）**を確認してください。ここまで来ると、あとは実際にモデルを動かしながら、速度と精度のバランスを見て調整していく段階になります。

ローカルLLMとは、AIモデルを自分の機器の中で動かす使い方を指す言葉です。クラウド型と違い、通信環境や社外への情報の出し方を自分でコントロールしやすくなりますが、その分、機器の性能に応じた選び方が必要になります。

どのツールが自分の用途に合うか探したい場合は、AIツールを検索することもできます。

この記事の出典

• Privacy Policy（Ollama公式、2026年9月11日確認）
• llama2:70b（Ollama公式モデルライブラリ、2026年9月11日確認）
• What's the difference between closed, open-source and open-weight AI? A researcher explains（PBS News／The Conversation、著者Jeffrey Young、2026年7月25日公開、2026年9月11日確認）