打印

[电脑] 内存和显存没有办法降价了，社区Strata仓库新出了qwen3.8flashnext的部署方案

cc0128

元始天尊

帖子: 44190
精华: 0
积分: 53502
激骚: 1715 度
爱车: 11路
主机: 3ds, xbox one
相机: ep5
手机: nexus 5
来自: 北方三线城市
注册时间: 2005-12-17

PS区大收藏家奖☆☆☆ TGFC 2018新年勋章☆☆☆☆ TGFC 2020年度勋章☆☆☆☆

发短消息
加为好友
当前离线

31^# 大中小发表于 2026-10-7 05:59 只看该作者

posted by wap, platform: iPhone

引用:

原帖由 @icetea776 于 2026-10-7 00:41 发表
flashnext比27b好用，27b现在除了傻快，质量还差点意思

模型参数不代表速度的。27b 稠密模型速度并不快。

TOP

可比熊

混世魔头

帖子: 3251
精华: 0
积分: 33057
激骚: 321 度
爱车
主机
相机
手机
注册时间: 2002-1-18

PS区 2010新年白金奖☆☆☆☆ PS区 2011新年白金奖☆☆☆☆ PS区 2014新年白金奖☆☆☆☆ PS区 PS4主机首发纪念奖★ PS区白金达人(40座+)★☆☆ PS区大会员奖☆☆ PS区大收藏家奖☆☆☆ PS区生还者入格奖☆ PS区索饭认证☆☆ PS区携带达人VITA命☆ TGFC 2015新年勋章☆☆☆☆

发短消息
加为好友
当前离线

32^# 大中小发表于 2026-10-7 08:37 只看该作者

posted by wap, platform: Android
不懂就问：只用本地大模型的语言推理，不做视频，用64g内存加外置5090m显卡在出文速度和结果体验上和豆包ai云端等相比如何，需要上128g内存吗？

本帖最后由可比熊于 2026-10-7 08:40 通过手机版编辑

TOP

realsquall

魔神至尊

帖子: 26202
精华: 2
积分: 12978
激骚: 1814 度
爱车: 杰德
主机: 全机种
相机
手机
注册时间: 2001-11-30

发短消息
加为好友
当前离线

33^# 大中小发表于 2026-10-7 11:10 只看该作者

3.8flashnext用q4k xl写文章的水准很不错。豆包免费的显然是不如的。
你24G显卡，如果是128G内存就可以用Q4K_XL,比IQ3S写中文写作方面应该强2个档次

TOP

realsquall

魔神至尊

帖子: 26202
精华: 2
积分: 12978
激骚: 1814 度
爱车: 杰德
主机: 全机种
相机
手机
注册时间: 2001-11-30

发短消息
加为好友
当前离线

34^# 大中小发表于 2026-10-7 11:12 只看该作者

我现在单卡pro5000 72G已经可以跑这个速度了，简直炸裂，基本prompt一下去，马上就decode出来的水平了。

附件: 您所在的用户组无法下载或查看附件

TOP

icetea776

大侠

帖子: 608
精华: 0
积分: 15116
激骚: 42 度
爱车
主机
相机
手机
注册时间: 2006-6-23

TGFC 2015新年勋章☆☆☆☆

发短消息
加为好友
当前离线

35^# 大中小发表于 2026-10-7 12:15 只看该作者

引用:

原帖由 cc0128 于发表于 2026-10-6 21:59 发表
模型参数不代表速度的。27b 稠密模型速度并不快。

5070ti 16g+64g ddr4内存上的速度对比，感觉27b对mtp的加速效果明显一点

[ 本帖最后由 icetea776 于 2026-10-7 04:17 编辑 ]

附件: 您所在的用户组无法下载或查看附件

TOP

realsquall

魔神至尊

帖子: 26202
精华: 2
积分: 12978
激骚: 1814 度
爱车: 杰德
主机: 全机种
相机
手机
注册时间: 2001-11-30

发短消息
加为好友
当前离线

36^# 大中小发表于 2026-10-7 14:17 只看该作者

我是 Hermes Agent（Nous Research 出品），跑在你的 QuantOS2 工作区里。
我能做的事大致几块：

代码工程：读写文件、跑命令、调试、写测试、git 操作，直接在你的仓库里改东西而不是只给建议。
数据/量化：Tushare 下载、Qlib 快照与回测、Canonical 数据治理这条线我有一整套技能和流程约束。
影视创作：洋子/H3 管线、分镜提示词、BGM 选曲、TTS 配音评估、成片交付到邮箱。
本地基础设施：Hermes 自身配置、MCP、launchd 服务、Ollama/vLLM/NewAPI、Roy 新 PC 运维。
网页/研究：搜索、抓取、浏览器自动化、报告与图表输出。
另外我有持久记忆——你的偏好（结论先行、说人话、实测和推算要分清、治理铁律等）都记着，跨会话生效。

有什么要做的直接说。

TOP

realsquall

魔神至尊

帖子: 26202
精华: 2
积分: 12978
激骚: 1814 度
爱车: 杰德
主机: 全机种
相机
手机
注册时间: 2001-11-30

发短消息
加为好友
当前离线

37^# 大中小发表于 2026-10-7 19:15 只看该作者

deepseek v4.1flash还不如我本地的3.8flashnext Q4kxl快
现在真的爽翻

[ 本帖最后由 realsquall 于 2026-10-7 19:18 编辑 ]

附件: 您所在的用户组无法下载或查看附件

TOP

turnlive

魔王撒旦

帖子: 8884
精华: 0
积分: 28303
激骚: 649 度
爱车
主机
相机
手机
注册时间: 2002-12-20

TGFC 2015新年勋章☆☆☆☆

发短消息
加为好友
当前在线

38^# 大中小发表于 2026-10-7 19:16 只看该作者

posted by wap, platform: iPhone
好的，我去买内存去了…

TOP

somesun

银河飞将

帖子: 36484
精华: 0
积分: 45333
激骚: 2500 度
爱车
主机
相机
手机
注册时间: 2007-8-6

TGFC 2014新年勋章☆☆☆☆ TGFC 2015新年勋章☆☆☆☆ TGFC 2016新年勋章☆☆☆☆ TGFC 2017新年勋章☆☆☆☆ TGFC 2018新年勋章☆☆☆☆ TGFC 2019新年勋章☆☆☆☆ TGFC 2020年度勋章☆☆☆☆

发短消息
加为好友
当前离线

39^# 大中小发表于 2026-10-8 08:29 只看该作者

posted by wap, platform: Chrome

引用:

原帖由 @realsquall 于 2026-10-7 14:17 发表
我是 Hermes Agent（Nous Research 出品），跑在你的 QuantOS2 工作区里。
我能做的事大致几块：

代码工程：读写文件、跑命令、调试、写测试、git 操作，直接在你的仓库里改东西而不是只给建议。
数据/量化：Tushare 下载、Qlib 快照与回测、Canonical 数据治理这条线我有一整套技能和流程约束。
影视创作：洋子/H3 管线、分镜提示词、BGM 选曲、TTS 配音评估、成片交付到邮箱。
本地基础设施：Hermes 自身配置、MCP、launchd 服务、Ollama/vLLM/NewAPI、Roy 新 PC 运维。
网页/研究：搜索、抓取、浏览器自动化、报告与图表输出。
另外我有持久记忆——你的偏好（结论先行、说人话、实测和推算要分清、治理铁律等）都记着，跨会话生效。

有什么要做的直接说。

不过讲真, 你这都是正当需求, 没必要非要本地模型吧

现在其实很多在线api很便宜, 如果用国产那几个模型得话

搞本地模型很多人是为了一些其他正规模型不支持得需求, 比如搞皮角, 写黄色小说, 搞黄色视频等等

TOP

madoka

拉不出屎

天外飞仙

拉不出屎怨社会

帖子: 11218
精华: 0
积分: 42306
激骚: 143 度
爱车
主机
相机
手机
来自: 社会
注册时间: 2001-1-31

发短消息
加为好友
当前离线

40^# 大中小发表于 2026-10-9 07:54 只看该作者

posted by wap, platform: Samsung
像我这种用hermes调用comfui出图的能这么用吗，我现在是hermes使用deepseek出提示词，调用comfyui并且出图后筛图。但使用本地qwen 3.8 next，32g显存够comfyui和qwen 3.8next一起跑吗。我5090+64g

TOP

realsquall

魔神至尊

帖子: 26202
精华: 2
积分: 12978
激骚: 1814 度
爱车: 杰德
主机: 全机种
相机
手机
注册时间: 2001-11-30

发短消息
加为好友
当前离线

41^# 大中小发表于 2026-10-9 21:56 只看该作者

引用:

原帖由 somesun 于 2026-10-8 08:29 发表
posted by wap, platform: Chrome
不过讲真, 你这都是正当需求, 没必要非要本地模型吧

现在其实很多在线api很便宜, 如果用国产那几个模型得话

搞本地模型很多人是为了一些其他正规模型不支持得需求, 比如搞皮角 ...

我是玩硬件，玩模型，不是玩api啊，而且看一下这个速度，还是破限版，刚才优化了一下，基本上200token/s了，这基本接近满血qwen3.8flashnext，还有fp32精度的多模态，我基本可以为所欲为了。找国外的那些需要注册的xx网站的vip会员都可以搞到最高权限。。。其实破限版有非常多的玩法，不能细讲了，能爽到的人自然会懂了。

附件: 您所在的用户组无法下载或查看附件

TOP

realsquall

魔神至尊

帖子: 26202
精华: 2
积分: 12978
激骚: 1814 度
爱车: 杰德
主机: 全机种
相机
手机
注册时间: 2001-11-30

发短消息
加为好友
当前离线

42^# 大中小发表于 2026-10-9 22:27 只看该作者

引用:

原帖由 madoka 于 2026-10-9 07:54 发表
posted by wap, platform: Samsung
像我这种用hermes调用comfui出图的能这么用吗，我现在是hermes使用deepseek出提示词，调用comfyui并且出图后筛图。但使用本地qwen 3.8 next，32g显存够comfyui和qwen 3.8next一起跑 ...

一起跑肯定不够，你设置个工作流来回跑就行，当然驱动comfyui的时候要用云端api了

TOP

madoka

拉不出屎

天外飞仙

拉不出屎怨社会

帖子: 11218
精华: 0
积分: 42306
激骚: 143 度
爱车
主机
相机
手机
来自: 社会
注册时间: 2001-1-31

发短消息
加为好友
当前离线

43^# 大中小发表于 2026-10-10 07:10 只看该作者

posted by wap, platform: Samsung

引用:

原帖由 @realsquall 于 2026-10-9 22:27 发表
一起跑肯定不够，你设置个工作流来回跑就行，当然驱动comfyui的时候要用云端api了

嗯，我昨天换了个思路改在mac studio装了破限的olmx flashnext 6bit版，配合comfyui也挺好，速度比我使deepseek慢点但也完全可以接受，这样挂机执行任务挺好。

TOP