LM Studio测试各大AI模型(持续更新)

工作站配置:
CPU:Intel 酷睿 i9-14900K;24核32线程;
GPU:NVIDIA RTX2000 Ada 16GB;
RAM:美商海盗船 DDR5 6400MHz 64GB (32G×2);
主板:技嘉 Z790 AORUS PRO X WIFI7。

测试LLM:LM Studio,各模型默认设置,未设置上下文长度、GPU卸载、CPU线程池大小、温度等;加载模型前CPU、GPU使用率为0。

测试模型1:DeepSeek-R1-Distill-Qwen-32B-Q4_K_M.gguf(19.85GB);
LM Studio显示使用:RAM:11GB | CPU:37%;
任务管理器显示使用:GPU:35% | CPU:64%;
输出:4.09 token/s;
思考:有。

测试模型2:DeepSeek-R1-Distill-Qwen-14B-Q8_0.gguf(15.70GB);
LM Studio显示使用:RAM:8GB | CPU:37%;
任务管理器显示使用:GPU:65% | CPU:64%;
输出:6.71 token/s;
思考:无。