ローカルLLMとは？ChatGPTとの違いと、自分のPCで動くかの見分け方｜Ollama・LM Studioの始め方

ローカルLLMとは、文章を作るAIモデルを、クラウドのサーバーではなく自分のPCの中で動かす使い方です。ChatGPTのようなクラウド型との違いは、計算する場所にあります。

自分のPCで動かす以上、使えるモデルの大きさはPCに積んだメモリの量で決まります。選ぶときに見るのは、メモリが何GBあるか、そこに載るモデルの大きさ、どのツールで動かすかの3点です。

この記事では、クラウド型との違い、メモリから動かせるモデルを見積もる方法、ツールの選び方と始め方を順に見ていきます。読み終えると、自分のPCで何が動くかと、最初に入れるツールを決められます。

ローカルLLMとは、AIモデルを手元のPCで動かす使い方

LLM（大規模言語モデル）は、生成AIのうち文章を読み書きする部分の頭脳にあたります。ChatGPTでは、入力した文章が提供元のサーバーへ送られ、そこで計算した答えが返ってきます。

ローカルLLMでは、モデルのファイルを自分のPCに保存し、計算もPCの中で済ませます。モデルを入れたあとはインターネットにつながっていなくても動き、入力した文章はPCの外へ出ません。

モデルのファイルは数GBから数十GBあり、最初にダウンロードするときだけは通信が必要です。

比べる点	ローカルLLM	クラウド型（ChatGPTなど）
計算する場所	自分のPC	提供元のサーバー
入力した文章の行き先	PCの中にとどまる	提供元へ送られる
使えるモデル	重みが公開されたモデル（Llama、Gemma、gpt-ossなど）	提供元のモデル（GPT、Claudeなど）
賢さの上限	PCのメモリ量で決まる	提供元の最上位モデルまで
費用	ツールは無料のものが多い。PC代と電気代	無料枠と月額料金
オフライン	使える	使えない

ローカルで動かせるのは、学習済みの中身（重み）が配布されているオープンウェイトモデルに限られます。GPTやClaudeの最上位モデルは配布されていないので、手元では動かせません。

会社では、同じ「手元で動かす」話を「オンプレミス」と呼ぶこともあります。自社のサーバー室で動かすならどちらの呼び方も当てはまり、個人のPCで動かす場合はふつうローカルLLMと呼びます。

動かせるかどうかは、メモリの量で決まる

モデル名の「8B」「70B」は、モデルの大きさ（パラメータ数）を表します。Bは10億のことで、8Bなら80億個の数値でできたモデルです。

Ollamaのモデルページは、7Bのモデルでおおむね8GB以上、13Bで16GB以上、70Bで64GB以上のメモリを目安にしています。一般に大きいほど答えの質は上がり、そのぶん必要なメモリも増えます。

PCのメモリ	動かしやすいモデルの大きさ	目安の出どころ
8GB	7Bまで	Ollamaのモデルページ
16GB	13Bまで、gpt-oss-20b	Ollamaのモデルページ、OpenAIのモデル説明
64GB	70Bクラス	Ollamaのモデルページ

たとえばOpenAIが公開したgpt-oss-20bは、16GBのメモリで動くと案内されています。メモリ16GBのノートPCなら、まずこの大きさが現実的な上限です。

モデル名の「Q4」は、軽くした度合いを表します。 同じモデルでも、配布ページには「Q4_K_M」「Q8_0」のような名前のファイルが並びます。

これは量子化（モデルの数値を少ない桁数で持ち直して軽くする処理）の度合いで、数字が小さいほど軽くなります。

llama.cppの説明では、Llama 3.1の8Bは元の32.1GBが、Q4_K_Mにすると4.9GBになります。8GBのPCにも載る大きさまで小さくなるのが、量子化の効き目です。

代わりに、軽くするほど答えの精度は少しずつ落ちます。迷ったら、配布されている中でQ4_K_MかQ5_K_Mを選ぶのが、容量と精度のつり合いが取りやすい選び方です。

名前の数字は目安で、Hugging Faceの資料では、Q4_Kは1つの数値あたり4ビットではなく4.5ビットになります。見積もるときは、名前ではなく表示されたファイルサイズを見ます。

長い資料を読ませると、モデル本体とは別に作業用のメモリも要ります。ファイルサイズがメモリぎりぎりのモデルは、長い文章を渡すと動かなくなることがあるので、余裕を残したサイズを選びます。

ツールは「画面で使うか」「ほかのアプリから呼ぶか」で選ぶ

モデルを動かすツールは、チャット画面で使うものと、裏で動かしてほかのアプリから呼び出すものに分かれます。初めてなら画面で使えるタイプ、社内の仕組みにつなぐならOllamaが向きます。

ツール	使い方	特徴	向く人
LM Studio	チャット画面	モデルの検索からダウンロード、会話まで画面で完結。2025年7月から仕事での利用も無料	初めて試す人
Ollama	コマンドとアプリ	1行のコマンドでモデルを入れて動かせる。ほかのアプリからつなぎやすい	社内ツールや開発に組み込みたい人
GPT4All	チャット画面	手元のフォルダの文書を読ませて答えさせる機能（LocalDocs）	自分の資料について質問したい人
Jan	チャット画面	無料のオープンソース。手元のモデルとクラウドのモデルを切り替えて使える	両方を1つの画面で使いたい人
Open WebUI	ブラウザ画面	Ollamaにつないで、チームで使えるChatGPT風の画面を作れる	社内で共有したい人

LM StudioとOllamaのどちらにするかは、LM StudioとOllamaの比較で機能を並べています。ChatGPTと比べてローカルにする価値があるかは、ChatGPTとOllamaの比較も参考になります。

ここに挙げた以外のツールも、AIチャットボットのカテゴリや各ツールのページから探せます。主なモデルはどのツール向けにも配布されているので、ツールを替えても同じモデルを選び直せます。

向くのは外に出せない文書とオフライン、向かないのは最新情報と難問

ローカルLLMが一番役に立つのは、社外に出せない文書を扱うときです。取引先との契約書の要約や、人事評価のメモの言い換えを、クラウドへ送らずに済ませられます。

顧客名の入った問い合わせメールを種類ごとに分ける作業なども、社外へ送る手続きを待たずに試せます。

移動中や工場の現場のように、通信が不安定な場所で使えるのも利点です。APIを何千回も呼ぶような作業では、利用料がかからない点も効いてきます。

反対に、ニュースや最新の料金を調べる用途には向きません。モデルが知っているのは学習した時点までで、ローカルのモデルは検索もしないからです。

込み入った分析や長い推論では、メモリ16GBのPCで動く大きさのモデルとクラウドの最上位モデルとで、答えの質に差が出ます。答えの誤り（ハルシネーション）も、ローカルだから減るわけではありません。

外に出ない点にも、ツールごとの条件があります。

Ollamaは、手元で動かしたときの入力と回答には一切アクセスしないとしつつ、アプリの版や利用回数などの情報は集めると書いています。Ollamaの中でクラウドのモデルを選んだ場合は、入力がOllamaのサーバーへ送られて処理されます。

始め方：LM Studioで最初の1回を動かす

初めてなら、画面で操作が完結するLM Studioから始めると迷いません。動かす前に、PCのメモリ量を確かめておきます。

まず、PCがLM Studioの条件を満たすかを見ます。 MacはApple シリコン（M1以降）とmacOS 14以上、WindowsはAVX2対応のCPUが必要で、どちらもメモリ16GB以上が推奨です。

次に、モデルを1つ選んでダウンロードします。 検索画面でgpt-oss-20bやGemmaなど名前の知られたモデルを探し、メモリに収まる大きさのファイル（Q4_K_Mなど）を選びます。

コマンドに抵抗がなければ、Ollamaを入れて ollama run gpt-oss:20b と打つだけでも始められます。この場合はダウンロードが約14GBあるので、空き容量も確かめておきます。

最後に、いつもの仕事の文章で試します。 架空の議事録を要約させるなど、ふだんChatGPTに頼む内容で比べると、速さと品質が自分の用途に足りるかが分かります。

会社のPCで使う場合は、モデルの利用条件も確かめます。gpt-ossはApache 2.0で商用利用できますが、モデルごとに条件が違うので、配布ページのライセンス欄を見てから業務に使います。

まとめ

ローカルLLMは、AIモデルを自分のPCの中で動かす使い方です。入力が外に出ずオフラインでも使える一方、賢さの上限はPCのメモリ量で決まります。

メモリ16GBのPCなら、LM StudioかOllamaで、gpt-oss-20bや7B〜13BのQ4_K_M版から試すのが手軽です。

社外に出せない文書をAIで扱いたいものの、ローカルとクラウドのどちらで進めるか、社内のどこまでをPCで完結させるかを決めかねている場合は、運営会社のAIリスキルがご相談を受けています。

お問い合わせはこちら

この記事の出典

• llama2:70b（Ollama公式モデルライブラリ、2026年10月4日確認）
• Privacy Policy（Ollama公式、2026年10月4日確認）
• System Requirements（LM Studio公式、2026年10月4日確認）
• LM Studio is free for use at work（LM Studio公式ブログ、2025年7月8日公開、2026年10月4日確認）
• openai/gpt-oss-20b（Hugging Face、2026年10月4日確認）
• llama.cpp quantize README（ggml-org、2026年10月4日確認）
• GGUF（Hugging Face Hub公式ドキュメント、2026年10月4日確認）
• LocalDocs（GPT4All公式ドキュメント、2026年10月4日確認）
• Jan（Jan公式、2026年10月4日確認）