آموزش LM Studio؛ اجرای هوش مصنوعی آفلاین بدون کدنویسی
اگر دوست دارید مدل‌های هوش مصنوعی را مستقیماً روی کامپیوتر خود اجرا کنید اما علاقه‌ای به درگیر شدن با Terminal، Python و تنظیمات پیچیده ندارید، LM Studio یکی از بهترین گزینه‌ها برای شروع است.
با LM Studio میتوانید مدل‌هایی مانند Qwen، Gemma، Mistral، DeepSeek و gpt-oss را پیدا کنید، روی سیستم دانلود کنید، میزان استفاده از GPU را تنظیم کنید و از طریق یک رابط گرافیکی شبیه ChatGPT با آنها گفتگو کنید.
بعد از دانلود Model، Chat، کار با اسناد و حتی API Server می‌توانند روی سیستم شما و بدون اتصال دائمی به اینترنت اجرا شوند. این موضوع LM Studio را برای هوش مصنوعی آفلاین، حفظ حریم خصوصی، کار با اسناد شخصی و استفاده در زمان قطعی اینترنت بسیار جذاب می‌کند.
در این آموزش از نصب LM Studio شروع می‌کنیم و تا دانلود مدل، انتخاب Quantization، تنظیم RAM و VRAM، GPU Offload، Chat با PDF، اجرای Local Server، OpenAI-compatible API، CLI و رفع مشکلات رایج پیش می‌رویم.
LM Studio چیست؟
LM Studio یک برنامه Desktop برای دانلود و اجرای مدل‌های هوش مصنوعی Local است.
به زبان ساده، به‌جای اینکه برای استفاده از یک LLM مجبور باشید Python نصب کنید، Repository مدل را دستی دانلود کنید و Runtime آن را Config کنید، LM Studio بسیاری از این مراحل را داخل یک رابط گرافیکی انجام می‌دهد.
Workflow ساده LM Studio تقریباً به این شکل است:
Search Model
↓
Download Model
↓
Load into RAM / VRAM
↓
Chat
↓
Local ResponseLM Studio برای اجرای مدل‌های GGUF از Runtime مبتنی بر llama.cpp استفاده می‌کند و روی Macهای Apple Silicon امکان استفاده از مدل‌های MLX را نیز دارد.
LM Studio چه قابلیت‌هایی دارد؟
مهم‌ترین امکانات LM Studio عبارت‌اند از:
- دانلود مدل‌های AI از طریق رابط گرافیکی
- جستجوی مدل‌های موجود در Hugging Face
- اجرای LLM بدون Python
- Chat با مدل‌های Local
- اجرای مدل‌های GGUF
- پشتیبانی از MLX روی Apple Silicon
- تنظیم GPU Offload
- تنظیم Context Length
- Chat با PDF و Document
- RAG کاملاً Local
- اجرای API Server روی کامپیوتر
- OpenAI-compatible API
- Anthropic-compatible API
- CLI با ابزار
lms - حالت Headless برای Server
- Tool Calling
- اتصال MCP Server
LM Studio برای چه کسانی مناسب است؟
LM Studio به‌خصوص برای کاربری مناسب است که می‌خواهد Local AI را تجربه کند ولی نمی‌خواهد در شروع کار با Command Line و Runtimeهای مختلف درگیر شود.
اگر هدف شما این است که:
- یک مدل AI روی لپ‌تاپ یا PC اجرا کنید؛
- بدون اینترنت با LLM Chat کنید؛
- مدل‌های Hugging Face را راحت‌تر دانلود کنید؛
- میزان استفاده از GPU و RAM را ببینید؛
- PDF و Document شخصی را بدون Cloud تحلیل کنید؛
- یک API محلی برای برنامه خود بسازید؛
LM Studio گزینه بسیار خوبی است.
سیستم مورد نیاز LM Studio
مدل هوش مصنوعی است که بخش عمده نیاز سخت‌افزاری را تعیین می‌کند، اما خود LM Studio نیز برای Platformهای مشخصی ارائه می‌شود.
LM Studio روی Windows
LM Studio در Windows از سیستم‌های x64 و ARM پشتیبانی می‌کند.
روی سیستم‌های x64، CPU باید از AVX2 پشتیبانی کند.
برای تجربه مناسب:
- حداقل 16GB RAM توصیه می‌شود.
- داشتن GPU با حداقل 4GB VRAM اختصاصی توصیه می‌شود.
این به معنی غیرممکن بودن اجرا با سخت‌افزار ضعیف‌تر نیست؛ Modelهای کوچک روی بعضی سیستم‌های ضعیف‌تر نیز قابل اجرا هستند.
LM Studio روی macOS
LM Studio فعلی روی Macهای Apple Silicon مانند M1، M2، M3 و M4 پشتیبانی می‌شود.
macOS 14 یا جدیدتر موردنیاز است و 16GB Unified Memory یا بیشتر توصیه می‌شود.
روی Mac دارای 8GB Memory نیز میتوانید بعضی Modelهای کوچک را اجرا کنید، اما Model Size و Context باید محدودتر انتخاب شوند.
Macهای Intel در حال حاضر توسط نسخه فعلی LM Studio پشتیبانی نمی‌شوند.
LM Studio روی Linux
LM Studio برای Linux روی x64 و ARM64 ارائه می‌شود.
نسخه Desktop Linux به‌صورت AppImage نیز منتشر می‌شود و برای سیستم‌های بدون GUI می‌توان از حالت Headless استفاده کرد.
آیا برای LM Studio کارت گرافیک لازم است؟
خیر.
مدل‌های Quantized کوچک را می‌توان روی CPU نیز اجرا کرد، اما GPU معمولاً سرعت Generation را به شکل محسوسی افزایش می‌دهد.
اگر تمام Model داخل VRAM جا شود، معمولاً بهترین Performance را دریافت می‌کنید.
اگر VRAM کافی نباشد، LM Studio می‌تواند بخشی از Model را روی GPU و بخش دیگری را روی RAM و CPU اجرا کند.
دانلود و نصب LM Studio
نسخه مناسب سیستم‌عامل خود را از سایت رسمی LM Studio دانلود و نصب کنید.
بعد از اولین اجرا چند بخش اصلی در Application خواهید دید که مهم‌ترین آنها عبارت‌اند از:
- Discover: پیدا کردن و دانلود Model
- Chat: گفتگو با مدل
- My Models: مدیریت مدل‌های دانلودشده
- Developer: Local API Server و ابزارهای توسعه
دانلود اولین مدل در LM Studio
بعد از نصب وارد بخش Discover شوید.
میتوانید نام Model یا خانواده آن را Search کنید؛ مثلاً:
Qwen
Gemma
Mistral
gpt-oss
DeepSeekLM Studio امکان Search و Download مدل‌هایی را که در Hugging Face منتشر شده‌اند فراهم می‌کند.
هنگام انتخاب Model فقط به نام آن توجه نکنید؛ Parameter Count، Quantization و حجم فایل را نیز ببینید.
برای شروع چه مدلی دانلود کنیم؟
اشتباه رایج کاربران تازه‌کار این است که مستقیم بزرگ‌ترین Model موجود را دانلود می‌کنند.
اگر 16GB RAM دارید، شروع با Modelهای کوچک و متوسط منطقی‌تر است.
| RAM سیستم | Model مناسب برای شروع |
|---|---|
| 8GB | 1B تا حدود 3B Quantized |
| 16GB | 3B تا حدود 8B Quantized |
| 32GB | 7B تا حدود 14B و بعضی مدل‌های بزرگ‌تر |
| 64GB+ | مدل‌های Mid/Large بسته به Quantization |
این جدول تقریبی است. Architecture، Quantization، Context Length و مقدار حافظه موردنیاز سیستم‌عامل روی نتیجه اثر دارند.
Q4_K_M، Q5_K_M و Q8_0 در LM Studio چیست؟
هنگام Download مدل‌های GGUF احتمالاً چند نسخه با نام‌هایی شبیه این میبینید:
Q3_K_M
Q4_K_M
Q5_K_M
Q6_K
Q8_0این‌ها Quantizationهای مختلف Model هستند.
به زبان ساده، Quantization باعث کاهش حجم Model و مصرف RAM/VRAM می‌شود.
هرچه Precision پایین‌تر باشد Model معمولاً کوچک‌تر می‌شود، ولی ممکن است مقداری از Quality نیز کاهش پیدا کند.
برای بسیاری از کاربران Q4_K_M نقطه شروع خوبی است، چون معمولاً تعادل مناسبی میان Size و Quality ایجاد می‌کند.
اگر Memory بیشتری دارید، Q5 یا Q6 نیز قابل بررسی هستند.
Quantization موضوع مفصلی است و بهتر است Q2 تا Q8، GGUF، AWQ و GPTQ را در مقاله مستقل بررسی کنیم.
چگونه مدل را در LM Studio اجرا کنیم؟
بعد از Download به بخش Chat بروید.
Model Loader را باز کنید و Model دانلودشده را انتخاب کنید.
وقتی Model را Load می‌کنید، LM Studio Weightهای آن را داخل RAM و در صورت امکان VRAM قرار می‌دهد.
بعد از Load شدن میتوانید Chat را شروع کنید.
Load شدن Model یعنی چه؟
فایل Model روی SSD بودن با اجرا شدن آن فرق دارد.
وقتی Model Download شده باشد، فقط روی Storage قرار دارد.
وقتی آن را Load می‌کنید، Weightهای موردنیاز به Memory منتقل می‌شوند تا CPU یا GPU بتواند Inference انجام دهد.
به همین دلیل یک فایل 8GB ممکن است هنگام اجرا بیشتر از 8GB حافظه مصرف کند.
GPU Offload در LM Studio چیست؟
GPU Offload مشخص می‌کند چه مقدار از محاسبات Model به GPU منتقل شود.
اگر GPU و VRAM کافی دارید، انتقال بخش بیشتری از Model به GPU معمولاً Generation را سریع‌تر می‌کند.
در LM Studio میتوانید مقدار Offload را هنگام Load کردن Model تنظیم کنید.
در CLI نیز امکان کنترل مستقیم وجود دارد:
lms load MODEL --gpu maxبرای استفاده از حدود نیمی از GPU Offload:
lms load MODEL --gpu 0.5و برای غیرفعال کردن GPU:
lms load MODEL --gpu offاگر تنظیم خاصی ندهید، LM Studio تلاش می‌کند Configuration مناسب را به‌صورت خودکار انتخاب کند.
چطور قبل از Load بفهمیم مدل روی سیستم اجرا می‌شود؟
یکی از قابلیت‌های مفید نسخه‌های جدید LM Studio، تخمین مصرف Memory قبل از Load کامل Model است.
در CLI میتوانید اجرا کنید:
lms load --estimate-only MODELLM Studio مقدار تقریبی Memory موردنیاز را محاسبه می‌کند.
این تخمین مواردی مانند:
- Context Length
- GPU Offload
- Flash Attention
- Vision Model بودن
را نیز در نظر می‌گیرد.
این قابلیت قبل از دانلود یا Load کردن Modelهای سنگین بسیار کاربردی است.
Context Length چیست؟
Context Length مقدار Tokenهایی است که Model می‌تواند در یک Request یا Conversation در نظر بگیرد.
برای مثال:
4096
8192
32768
131072Context بیشتر برای:
- PDF طولانی
- Document
- Conversation طولانی
- Coding
- RAG
مفید است.
اما افزایش Context Memory بیشتری مصرف می‌کند.
بنابراین اگر Model از 128K Context پشتیبانی می‌کند الزاماً نباید همیشه آن را با 128K Load کنید.
تنظیم Context با CLI
برای مثال:
lms load MODEL --context-length 8192یا:
lms load MODEL --context-length 32768براساس نیاز و حافظه سیستم مقدار مناسب را انتخاب کنید.
Flash Attention چیست؟
Flash Attention یک روش بهینه‌سازی Attention است که در Runtimeهای پشتیبانی‌شده می‌تواند Memory Usage را کاهش دهد و Performance را بهبود دهد.
LM Studio اجازه می‌دهد تنظیمات مرتبط با Flash Attention را برای Modelهای پشتیبانی‌شده مدیریت کنید.
همیشه روشن یا خاموش بودن آن برای تمام Hardwareها بهترین نتیجه یکسانی ندارد، بنابراین Benchmark روی سیستم خودتان معیار بهتری است.
ذخیره تنظیمات پیش‌فرض برای هر Model
اگر برای یک Model همیشه Context، GPU Offload یا Flash Attention مشخصی استفاده می‌کنید، میتوانید آن Configuration را به‌عنوان Default همان Model ذخیره کنید.
این کار از بخش My Models و تنظیمات Model قابل انجام است.
در استفاده روزمره بسیار مفید است، چون لازم نیست هر بار Load Settings را دوباره تنظیم کنید.
Chat با LM Studio
بعد از Load شدن Model وارد Chat شوید و مانند یک Chatbot معمولی Prompt بنویسید.
تمام Generation مدل Local روی سیستم شما انجام می‌شود.
البته کیفیت Response به Model انتخابی بستگی دارد، نه صرفاً به LM Studio.
LM Studio Runtime است؛ خودش مدل زبانی نیست.
System Prompt در LM Studio
با System Prompt میتوانید Behavior اولیه Model را مشخص کنید.
مثلاً:
تو یک دستیار فارسی‌زبان برای برنامه‌نویسی هستی.
پاسخ‌ها را کوتاه، فنی و همراه مثال ارائه بده.کیفیت دنبال کردن System Prompt به قابلیت Model نیز بستگی دارد.
Temperature چیست؟
Temperature روی تنوع Generation اثر می‌گذارد.
مقدار پایین‌تر معمولاً برای:
- Programming
- تحلیل
- پاسخ دقیق‌تر
مناسب است.
مقادیر بالاتر می‌توانند Output خلاقانه‌تر ولی غیرقابل‌پیش‌بینی‌تری ایجاد کنند.
اجرای LM Studio بدون اینترنت
یکی از مهم‌ترین مزایای LM Studio این است که Core Functionهای آن بعد از آماده شدن Model می‌توانند کاملاً Offline کار کنند.
طبق مستندات رسمی LM Studio، موارد زیر بعد از آماده‌سازی مدل نیازمند اینترنت نیستند:
- Chat با Model دانلودشده
- Chat با Document
- RAG
- اجرای Local Server
Promptها و Documentهایی که در Workflow کاملاً Local استفاده می‌کنید برای Inference نیاز به خروج از دستگاه ندارند.
چه بخش‌هایی از LM Studio اینترنت می‌خواهند؟
برخی عملیات طبیعتاً Online هستند:
- Search کردن Model جدید
- Download مدل
- Download Runtime جدید
- بررسی Update برنامه
بنابراین برای استفاده هنگام قطعی اینترنت بهتر است Model و Runtime موردنیاز را از قبل دانلود کنید.
استفاده از LM Studio هنگام قطعی اینترنت
اگر می‌خواهید LM Studio را به‌عنوان ابزار آماده در زمان قطعی یا اختلال اینترنت داشته باشید، قبل از آن:
- Application را نصب کنید.
- حداقل یک Model General-purpose دانلود کنید.
- اگر Coding می‌خواهید، Coding Model مناسب نیز دانلود کنید.
- Embedding Model موردنیاز RAG را آماده کنید.
- Model را یک بار Load کنید.
- اینترنت را قطع و عملکرد را آزمایش کنید.
در این حالت میتوانید حتی بدون اینترنت برای نوشتن، ترجمه، برنامه‌نویسی، خلاصه‌سازی و تحلیل اسناد از AI استفاده کنید.
Chat با PDF در LM Studio
LM Studio امکان اضافه کردن Document به Chat را دارد.
فرمت‌های پشتیبانی‌شده شامل فایل‌هایی مانند:
.pdf
.docx
.txtهستند.
بعد از اضافه کردن Document دو حالت ممکن است اتفاق بیفتد.
Document کوچک
اگر کل محتوا داخل Context Window Model جا شود، LM Studio می‌تواند بخش بزرگی یا تمام Document را مستقیم به Context اضافه کند.
Document بزرگ
اگر فایل بزرگ باشد، LM Studio از Retrieval یا RAG استفاده می‌کند و بخش‌های مرتبط با سؤال را از Document پیدا می‌کند.
RAG در LM Studio چیست؟
RAG مخفف:
Retrieval-Augmented Generationاست.
به‌جای اینکه کل کتاب یا PDF در هر سؤال به Model داده شود، ابتدا بخش‌های مرتبط با Query پیدا می‌شوند و سپس همان قسمت‌ها به LLM داده می‌شوند.
Workflow ساده:
Document
↓
Index / Retrieval
↓
Relevant Chunks
↓
Local LLM
↓
AnswerLM Studio می‌تواند این کار را روی سیستم Local انجام دهد.
آیا PDF من از سیستم خارج می‌شود؟
در حالت Local، LM Studio اعلام می‌کند Processing Document روی دستگاه انجام می‌شود و فایل برای Chat/RAG Local نیازی به ارسال به Cloud ندارد.
البته اگر خودتان MCP، API یا Tool خارجی به Workflow اضافه کنید باید Privacy همان سرویس را جداگانه بررسی کنید.
ساخت Local API Server در LM Studio
LM Studio فقط Chat Application نیست؛ می‌تواند Modelهای شما را از طریق HTTP API نیز ارائه دهد.
وارد بخش Developer شوید و گزینه:
Start Serverرا فعال کنید.
Port رایج LM Studio:
1234است.
بنابراین Local Server معمولاً روی:
http://localhost:1234قرار می‌گیرد.
اجرای Server با CLI
با ابزار lms نیز میتوانید Server را اجرا کنید:
lms server startبرای Port مشخص:
lms server start --port 1234OpenAI-Compatible API در LM Studio
LM Studio Endpointهای سازگار با OpenAI ارائه می‌کند.
Base URL معمول:
http://localhost:1234/v1و Endpointهایی مانند:
/v1/models
/v1/responses
/v1/chat/completions
/v1/embeddings
/v1/completionsپشتیبانی می‌شوند.
تست API با curl
برای مشاهده Modelهای Server:
curl http://localhost:1234/v1/modelsبرای Chat:
curl http://localhost:1234/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "MODEL_ID",
"messages": [
{
"role": "user",
"content": "سلام، یک مثال Python بنویس"
}
]
}'استفاده از OpenAI Python SDK با LM Studio
اگر Application موجود شما از OpenAI SDK استفاده می‌کند، در بسیاری از موارد کافی است Base URL را تغییر دهید:
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:1234/v1",
api_key="lm-studio"
)
response = client.chat.completions.create(
model="MODEL_ID",
messages=[
{"role": "user", "content": "سلام"}
]
)
print(response.choices[0].message.content)به این ترتیب همان Application می‌تواند به‌جای Model Cloud از LLM روی PC شما استفاده کند.
Anthropic-Compatible API
LM Studio علاوه بر OpenAI-compatible Endpoint، Compatibility با APIهای Anthropic را نیز ارائه می‌کند.
این موضوع Integration بعضی Applicationها و Developer Toolها را ساده‌تر می‌کند.
اشتراک LM Studio در شبکه داخلی
فرض کنید یک Workstation قوی با GPU مناسب دارید ولی Laptop شما قدرت کافی برای اجرای LLM ندارد.
میتوانید Model را فقط روی Workstation اجرا کنید و API آن را در LAN در اختیار دستگاه‌های دیگر قرار دهید.
در GUI گزینه Serve on Local Network وجود دارد.
از CLI نیز:
lms server start --bind 0.0.0.0قابل استفاده است.
بعد سایر Deviceهای شبکه می‌توانند به IP همان سیستم وصل شوند.
نکته امنیتی مهم درباره Local Network
وقتی Server را از:
127.0.0.1به:
0.0.0.0Bind می‌کنید، دیگر فقط Localhost به Server دسترسی ندارد.
LM Studio برای چنین شرایطی استفاده از Authentication را توصیه می‌کند.
همچنین Firewall سیستم را تنظیم کنید و بدون دلیل Server را مستقیماً روی Internet باز نکنید.
API Authentication در LM Studio
در Server Settings میتوانید Require Authentication را فعال کنید.
در این حالت Client باید API Token معتبر در Header ارسال کند.
این قابلیت برای LAN، Serverهای چندکاربره و MCPهایی که به فایل یا داده حساس دسترسی دارند اهمیت زیادی دارد.
CLI برنامه LM Studio؛ ابزار lms
LM Studio فقط GUI ندارد. ابزار Command Line رسمی آن:
lmsنام دارد.
بعد از نصب LM Studio میتوانید در Terminal اجرا کنید:
lms --helpبرخی Commandهای مهم:
lms get
lms ls
lms load
lms unload
lms ps
lms chat
lms server start
lms server stopدانلود مدل با lms get
میتوانید بدون باز کردن Discover Model جستجو و Download کنید:
lms get MODEL_NAMEبرای انتخاب Quantization:
lms get llama-3.1-8b@q4_k_mبرای جستجوی فقط GGUF:
lms get --ggufو روی Apple Silicon برای MLX:
lms get --mlxمشاهده مدل‌های دانلودشده
lms lsاین دستور Modelهای روی Disk را همراه اطلاعاتی مانند Size، Architecture و Parameter نمایش می‌دهد.
مشاهده Modelهای Load شده
lms psاین دستور با lms ls فرق دارد.
lms ls مدل‌های موجود روی Storage را نشان می‌دهد؛ lms ps Modelهایی را نمایش می‌دهد که اکنون داخل Memory قرار گرفته‌اند.
خارج کردن Model از RAM و VRAM
وقتی دیگر به Model نیاز ندارید:
lms unload MODELو برای Unload همه Modelها:
lms unload --allاین کار RAM و VRAM را آزاد می‌کند.
TTL برای آزاد کردن خودکار Memory
میتوانید تعیین کنید Model بعد از مدتی عدم استفاده از Memory خارج شود.
مثلاً یک ساعت:
lms load MODEL --ttl 3600برای Serverهایی که چند Model دارند این قابلیت بسیار مفید است.
Headless LM Studio و llmster چیست؟
اگر می‌خواهید LM Studio روی Server بدون Desktop اجرا شود، نیازی نیست Application گرافیکی را دائماً باز نگه دارید.
LM Studio ابزار Headless خود با نام llmster را ارائه می‌کند.
llmster برای مواردی مانند:
- Linux Server
- GPU Rig
- Home Server
- CI/CD
- Background AI Service
طراحی شده است.
در واقع سه مفهوم را از هم جدا کنید:
| ابزار | کاربرد |
|---|---|
| LM Studio | Desktop GUI |
| llmster | Headless Service |
| lms | Command Line برای مدیریت هر دو |
Tool Calling در LM Studio
Modelهای سازگار می‌توانند Function یا Tool درخواست کنند.
برای مثال Application می‌تواند Toolهایی برای:
- جستجوی Database
- محاسبه
- خواندن اطلاعات Application
- اجرای API داخلی
در اختیار Model قرار دهد.
LM Studio Tool Use را از طریق APIهای خود و OpenAI-compatible Endpointها پشتیبانی می‌کند.
MCP در LM Studio چیست؟
نسخه‌های جدید LM Studio می‌توانند به‌عنوان MCP Client نیز عمل کنند.
MCP یا Model Context Protocol به مدل اجازه می‌دهد از Tool یا Data Sourceهای خارجی استفاده کند.
مثلاً بسته به MCP Server می‌توان به:
- Browser
- File System
- Database
- Applicationهای دیگر
دسترسی داد.
اما باید در نظر داشته باشید که استفاده از MCP خارجی می‌تواند Workflow شما را از حالت کاملاً Offline خارج کند.
آیا LM Studio رایگان است؟
LM Studio برای استفاده شخصی رایگان است و از سال 2025 استفاده از Application در محیط کاری نیز بدون نیاز به خرید Commercial License جداگانه مجاز شده است.
برخی قابلیت‌های سازمانی و Enterprise می‌توانند شرایط جداگانه داشته باشند.
این موضوع را با License خود Modelها اشتباه نگیرید؛ هر Model شرایط استفاده خودش را دارد.
LM Studio خودش مدل هوش مصنوعی است؟
خیر.
این یکی از مهم‌ترین مفاهیمی است که باید بدانید.
LM Studio یک Runtime، Model Manager، Chat UI و API Server است.
کیفیت Answer توسط Model انتخاب‌شده تعیین می‌شود.
مثلاً اگر یک Model 3B ضعیف اجرا کنید، نصب LM Studio آن را به Model 70B تبدیل نمی‌کند.
LM Studio و Hugging Face چه تفاوتی دارند؟
Hugging Face یک Hub بزرگ برای Modelها است.
LM Studio ابزاری برای پیدا کردن، دانلود و اجرای بخشی از این Modelها روی سیستم شما است.
بنابراین این دو رقیب مستقیم نیستند.
LM Studio بهتر است یا Ollama؟
LM Studio برای کاربرانی که GUI و کنترل بصری روی Model Loading می‌خواهند بسیار مناسب است.
Ollama برای:
- Automation
- CLI
- Developer Workflow
- Server ساده
بسیار محبوب است.
LM Studio نیز CLI و API قوی دارد، بنابراین تفاوت این دو نسبت به گذشته کمتر شده است.
در عمل میتوانید هر دو را روی یک سیستم داشته باشید و براساس Workflow از یکی استفاده کنید.
LM Studio بهتر است یا llama.cpp؟
LM Studio در Backend خود می‌تواند از Runtime مبتنی بر llama.cpp استفاده کند، اما رابط کاربری و مدیریت Model را نیز به آن اضافه می‌کند.
اگر حداکثر کنترل روی Flagها، Build، Backend و Performance می‌خواهید، استفاده مستقیم از llama.cpp انعطاف بیشتری دارد.
اگر هدف شما اجرای آسان Model است، LM Studio تجربه ساده‌تری ارائه می‌دهد.
چرا LM Studio مدل را Load نمی‌کند؟
رایج‌ترین دلیل Memory ناکافی است.
راهکارها:
- Quantization کوچک‌تر Download کنید.
- Model کوچک‌تر انتخاب کنید.
- Context را کاهش دهید.
- GPU Offload را تغییر دهید.
- Applicationهای سنگین را ببندید.
- قبل از Load از
--estimate-onlyاستفاده کنید.
خطای Out of Memory در LM Studio
اگر RAM یا VRAM تمام شود Model ممکن است Load نشود یا سیستم بسیار کند شود.
مثلاً به‌جای Q8 یک Q4 را آزمایش کنید.
همچنین Context 128K را بی‌دلیل روی سیستمی با Memory محدود فعال نکنید.
چرا LM Studio خیلی کند جواب می‌دهد؟
موارد زیر را بررسی کنید:
- Model بیش از حد بزرگ نیست؟
- GPU Offload فعال است؟
- VRAM پر نشده؟
- سیستم Swap نمی‌کند؟
- Context بیش از حد بزرگ نیست؟
- CPU یا GPU Thermal Throttling ندارد؟
یک Model کوچک که با سرعت 20 Token/s اجرا می‌شود ممکن است تجربه بسیار بهتری از Model بزرگ‌تری داشته باشد که هر Token را چند ثانیه تولید می‌کند.
چرا پاسخ Model بد است؟
اگر Model سریع اجرا می‌شود ولی Answer کیفیت خوبی ندارد، مشکل الزاماً LM Studio نیست.
دلایل احتمالی:
- Model برای Task شما مناسب نیست.
- نسخه Base به‌جای Instruct دانلود کرده‌اید.
- Quantization بیش از حد پایین است.
- System Prompt مناسب نیست.
- Model زبان فارسی را خوب پشتیبانی نمی‌کند.
- Context نامناسب است.
چرا مدل فارسی را بد جواب می‌دهد؟
همه Modelها Multilingual نیستند و Benchmark بالا در زبان انگلیسی الزاماً به معنی Performance خوب فارسی نیست.
برای انتخاب Model فارسی بهتر است چند Prompt ثابت داشته باشید و Modelهای مختلف را روی:
- نوشتن فارسی
- محاوره
- ترجمه
- خلاصه‌سازی
- Programming با توضیح فارسی
مقایسه کنید.
چگونه فضای SSD اشغال‌شده را بررسی کنیم؟
Modelهای Local خیلی سریع Storage را پر می‌کنند.
با CLI:
lms lsمیتوانید Size Modelهای Download شده را مشاهده کنید.
اگر چند Model بزرگ داشته باشید ممکن است صدها گیگابایت فضای SSD مصرف شود.
پیشنهاد برای شروع با LM Studio
اگر تازه‌کار هستید این Workflow مناسب است:
- LM Studio را نصب کنید.
- وارد Discover شوید.
- یک Instruct Model کوچک یا متوسط پیدا کنید.
- نسخه GGUF با Quantization حدود Q4 را انتخاب کنید.
- Model را دانلود کنید.
- در Chat آن را Load کنید.
- GPU Offload را روی Auto نگه دارید.
- Context را بی‌دلیل خیلی بالا نبرید.
- چند Prompt فارسی و انگلیسی تست کنید.
- اینترنت را قطع و حالت Offline را آزمایش کنید.
چک‌لیست CLI در LM Studio
| عملیات | دستور |
|---|---|
| راهنمای CLI | lms --help |
| دانلود Model | lms get MODEL |
| لیست Modelهای روی Disk | lms ls |
| Load Model | lms load MODEL |
| تخمین Memory | lms load --estimate-only MODEL |
| Modelهای داخل RAM | lms ps |
| Unload Model | lms unload MODEL |
| Unload همه | lms unload --all |
| Chat در Terminal | lms chat |
| اجرای Server | lms server start |
| توقف Server | lms server stop |
سوالات متداول LM Studio
LM Studio چیست؟
LM Studio برنامه‌ای برای دانلود، مدیریت و اجرای مدل‌های هوش مصنوعی Local روی Windows، Linux و macOS است و رابط Chat و Local API Server نیز دارد.
آیا LM Studio بدون اینترنت کار می‌کند؟
بله. بعد از دانلود Model و Runtime موردنیاز، Chat، RAG، Document Chat و Local Server می‌توانند بدون اینترنت اجرا شوند.
آیا LM Studio رایگان است؟
بله. Application برای استفاده شخصی و کاری رایگان است، هرچند سرویس‌ها یا قابلیت‌های Enterprise می‌توانند شرایط جداگانه داشته باشند.
آیا LM Studio به GPU نیاز دارد؟
خیر، ولی GPU Performance را به‌طور چشمگیری افزایش می‌دهد. Modelهای کوچک Quantized روی CPU نیز قابل اجرا هستند.
حداقل RAM مناسب برای LM Studio چقدر است؟
LM Studio حداقل 16GB RAM را برای تجربه عمومی توصیه می‌کند. سیستم 8GB نیز می‌تواند Modelهای کوچک‌تر را با Context محدود اجرا کند.
آیا LM Studio روی Mac Intel کار می‌کند؟
نسخه فعلی LM Studio از Apple Silicon پشتیبانی می‌کند و Macهای Intel در حال حاضر پشتیبانی رسمی ندارند.
آیا LM Studio مدل‌های Hugging Face را اجرا می‌کند؟
بله، Discover امکان Search و Download Model از Hugging Face را فراهم می‌کند، البته Model باید Format و Architecture سازگار با Runtimeهای LM Studio داشته باشد.
برای شروع Q4 بگیریم یا Q8؟
برای بسیاری از سیستم‌های Consumer، Q4_K_M نقطه شروع متعادلی است. Q8 حجم و Memory بیشتری مصرف می‌کند و لزوماً برای همه لازم نیست.
Port پیش‌فرض LM Studio چیست؟
Local Server معمولاً روی Port 1234 اجرا می‌شود.
آیا LM Studio OpenAI API را پشتیبانی می‌کند؟
بله. Endpointهای OpenAI-compatible ارائه می‌کند و بسیاری از OpenAI Clientها با تغییر Base URL می‌توانند به Model Local وصل شوند.
آیا می‌توان PDF را به LM Studio داد؟
بله. LM Studio از Document Chat و RAG Local برای فایل‌هایی مانند PDF، DOCX و TXT پشتیبانی می‌کند.
آیا می‌توان LM Studio را روی Server بدون GUI اجرا کرد؟
بله. llmster نسخه Headless آن برای Server، GPU Rig و Background Service است.
آیا می‌توان چند کامپیوتر را به یک LM Studio متصل کرد؟
بله. با Serve on Local Network میتوانید API Server را در LAN در دسترس قرار دهید. در این حالت Authentication و Firewall را فعال کنید.
