打印

一次奇怪的装机本地跑半血deepseek 671b和其他大模型高性价比方案

pocketmom

魔王撒旦

帖子: 6407
精华: 0
积分: 22462
激骚: 503 度
爱车
主机
相机
手机
注册时间: 2006-7-30

TGFC 2014新年勋章☆☆☆☆ TGFC 2016新年勋章☆☆☆☆ TGFC 2017新年勋章☆☆☆☆ TGFC 2018新年勋章☆☆☆☆

发短消息
加为好友
当前在线

1^# 大中小发表于 2025-7-5 15:41 只看该作者

posted by wap, platform: Android
上个月装了一台独特的机器，主要目的就是能本地运行半血版的deepseek 671b int4版本，顺带可以运行一些小参数量的比如qwen3 30b的。调试了半个月终于达到可用效果。目前deepseek大概10tokens每秒。qwen3 30b大概22tokens每秒。
整机成本大概12000左右。感谢各类洋垃圾的支持。配置单如下：
主板：华南金牌h12d-8d 带bmc模块 2300元
cpu：amd7532 32核 64线程 800元
内存： 8根镁光64g ddr4 3200 4000元
电源：先马平头哥 1000w 400元
硬盘：1t+2t 杂牌ssd 700元
显卡：2块 amd mi50 32g 1900元后来跑deepseek 671b速度不满意又加了
3080ti 20g 2700元
内存散热风扇 80元
开放式机架 20元

推理框架deepseek用的fastllm。
qwen3用的vllm，可以双卡张量并行。
几个总结：
1 玩本地大模型网络一定要好。一定要能科学。
2 mi50 单卡跑deepseek 671b int4最快6.7tokens。但是和3080ti 10tokens差距还是明显的。
3 deepseek本地int4效果比官网的好，估计官网量化更严重。
4 mi50 还是有意义双卡64g，可以gpu运行30b的dense模型。甚至可以本地微调一些小参数的模型。不过这卡amd后续没支持了。
5 玩本地大模型一定要用Ubuntu系统。
6 一定要做好内存散热，671b的moe层都在内存上，用cpu跑内存发热就会降速。

附件: 您所在的用户组无法下载或查看附件

TOP

西风的树

混世魔头

帖子: 2862
精华: 1
积分: 21878
激骚: 224 度
爱车
主机
相机
手机
注册时间: 2006-4-9

TGFC 2015新年勋章☆☆☆☆

发短消息
加为好友
当前离线

2^# 大中小发表于 2025-7-5 15:48 只看该作者

posted by wap, platform: Chrome
感谢lz的分享，我们是用现成的3090做并联，确实内存散热是个问题。

TOP

shixn

银河飞将

帖子: 31425
精华: 0
积分: 44699
激骚: 1522 度
爱车
主机
相机
手机
注册时间: 2004-11-5

TGFC 2014新年勋章☆☆☆☆ TGFC 2015新年勋章☆☆☆☆ TGFC 2016新年勋章☆☆☆☆ TGFC 2017新年勋章☆☆☆☆ TGFC 2018新年勋章☆☆☆☆ TGFC 2020年度勋章☆☆☆☆

发短消息
加为好友
当前离线

3^# 大中小发表于 2025-7-5 16:35 只看该作者

posted by wap, platform: Android
本地大模型为啥需要网络好？？？

TOP

pocketmom

魔王撒旦

帖子: 6407
精华: 0
积分: 22462
激骚: 503 度
爱车
主机
相机
手机
注册时间: 2006-7-30

TGFC 2014新年勋章☆☆☆☆ TGFC 2016新年勋章☆☆☆☆ TGFC 2017新年勋章☆☆☆☆ TGFC 2018新年勋章☆☆☆☆

发短消息
加为好友
当前在线

4^# 大中小发表于 2025-7-5 16:44 只看该作者

posted by wap, platform: Android

引用:

原帖由 @shixn 于 2025-7-5 16:35 发表
本地大模型为啥需要网络好？？？

主要是下载模型，下载模型权重或者训练数据集动辄几百g，即使是用hf mirror也要网络好。另外就是要能连hugging face要能科学。

TOP

somesun

银河飞将

帖子: 35084
精华: 0
积分: 43592
激骚: 2490 度
爱车
主机
相机
手机
注册时间: 2007-8-6

TGFC 2014新年勋章☆☆☆☆ TGFC 2015新年勋章☆☆☆☆ TGFC 2016新年勋章☆☆☆☆ TGFC 2017新年勋章☆☆☆☆ TGFC 2018新年勋章☆☆☆☆ TGFC 2019新年勋章☆☆☆☆ TGFC 2020年度勋章☆☆☆☆

发短消息
加为好友
当前在线

5^# 大中小发表于 2025-7-5 16:59 只看该作者

posted by wap, platform: Chrome
deepseek是放内存的吧

那为啥还要配显卡? 同时跑qwen阿

TOP

pocketmom

魔王撒旦

帖子: 6407
精华: 0
积分: 22462
激骚: 503 度
爱车
主机
相机
手机
注册时间: 2006-7-30

TGFC 2014新年勋章☆☆☆☆ TGFC 2016新年勋章☆☆☆☆ TGFC 2017新年勋章☆☆☆☆ TGFC 2018新年勋章☆☆☆☆

发短消息
加为好友
当前在线

6^# 大中小发表于 2025-7-5 17:39 只看该作者

posted by wap, platform: Android

引用:

原帖由 @somesun 于 2025-7-5 16:59 发表
deepseek是放内存的吧

那为啥还要配显卡? 同时跑qwen阿

deepseek 共享专家层和注意力机制层是放显卡加速的。全放内存跑只有3tokens

TOP

lvcha

银河飞将

帖子: 37429
精华: 0
积分: 35259
激骚: 2113 度
爱车
主机
相机
手机
注册时间: 2002-8-26

TGFC 2015新年勋章☆☆☆☆

发短消息
加为好友
当前离线

7^# 大中小发表于 2025-7-5 19:00 只看该作者

posted by wap, platform: Firefox
本地跑比我用claude这些优势体现在？

TOP

卖哥

银河飞将

帖子: 36102
精华: 0
积分: 44472
激骚: 85 度
爱车
主机
相机
手机
注册时间: 2005-12-14

TGFC 2020年度勋章☆☆☆☆

发短消息
加为好友
当前离线

8^# 大中小发表于 2025-7-5 19:16 只看该作者

引用:

原帖由 lvcha 于 2025-7-5 19:00 发表
posted by wap, platform: Firefox
本地跑比我用claude这些优势体现在？

最主要是隐私

TOP

pocketmom

魔王撒旦

帖子: 6407
精华: 0
积分: 22462
激骚: 503 度
爱车
主机
相机
手机
注册时间: 2006-7-30

TGFC 2014新年勋章☆☆☆☆ TGFC 2016新年勋章☆☆☆☆ TGFC 2017新年勋章☆☆☆☆ TGFC 2018新年勋章☆☆☆☆

发短消息
加为好友
当前在线

9^# 大中小发表于 2025-7-5 19:24 只看该作者

posted by wap, platform: Android

引用:

原帖由 @lvcha 于 2025-7-5 19:00 发表
本地跑比我用claude这些优势体现在？

开发agent很自由了。另外还能lora微调。

TOP

kerorozhou

魔王撒旦

帖子: 8820
精华: 0
积分: 17160
激骚: 357 度
爱车: 嘀嘀嘀
主机: 本时代是全了
相机: 感动常在奥巴蓝
手机: 狗猴双待
注册时间: 2010-11-24

PS区 PS4主机首发纪念奖★ PS区大会员奖☆☆ PS区携带达人VITA命☆ TGFC 2014新年勋章☆☆☆☆ TGFC 2015新年勋章☆☆☆☆ TGFC 2016新年勋章☆☆☆☆ TGFC 2017新年勋章☆☆☆☆ TGFC 2018新年勋章☆☆☆☆ TGFC 2019新年勋章☆☆☆☆ TGFC 2020年度勋章☆☆☆☆ TGFC王者农药勋章★ 任区任饭认证☆☆

发短消息
加为好友
当前离线

10^# 大中小发表于 2025-7-5 21:01 只看该作者

马克下，算是性价比相当高的方案了

TOP

一次奇怪的装机 本地跑半血deepseek 671b和其他大模型 高性价比方案

引用:

引用:

引用:

引用:

一次奇怪的装机本地跑半血deepseek 671b和其他大模型高性价比方案