引用:

原帖由 somesun 于 2026-10-8 08:29 发表
posted by wap, platform: Chrome
不过讲真, 你这都是正当需求, 没必要非要本地模型吧

现在其实很多在线api很便宜, 如果用国产那几个模型得话

搞本地模型很多人是为了一些其他正规模型不支持得需求, 比如搞皮角 ...

我是玩硬件，玩模型，不是玩api啊，而且看一下这个速度，还是破限版，刚才优化了一下，基本上200token/s了，这基本接近满血qwen3.8flashnext，还有fp32精度的多模态，我基本可以为所欲为了。找国外的那些需要注册的xx网站的vip会员都可以搞到最高权限。。。其实破限版有非常多的玩法，不能细讲了，能爽到的人自然会懂了。

引用:

原帖由 madoka 于 2026-10-9 07:54 发表
posted by wap, platform: Samsung
像我这种用hermes调用comfui出图的能这么用吗，我现在是hermes使用deepseek出提示词，调用comfyui并且出图后筛图。但使用本地qwen 3.8 next，32g显存够comfyui和qwen 3.8next一起跑 ...

一起跑肯定不够，你设置个工作流来回跑就行，当然驱动comfyui的时候要用云端api了

strata引擎又更新了，decode速度再提升13%，太猛了

本帖最后由 潇洒云 于 2026-10-11 14:57 编辑


256K
KV int8
KV resident 32768
spec 6
spec-min-p 0.7
vram reserve 1024
parallel 1
prefill 默认 w4a8
PCIe 自动
route tail skip 7
预计最有可能落在：
190–205 tok/s

新的升级可以拉满到200token了。

[ 本帖最后由 realsquall 于 2026-10-11 15:02 编辑 ]

有很多东西根本不能细说，破限的软件越强，能干的事情就超乎你的想象。

nvfp4各项评分和在线版qwen3.8flash是一样的。能跑这个速度。综合190token/s,代码等任务260token/s，已经和在线deepseek flash一个水平的速度了。5070ti 16G 96G的设备也能大概到一半的速度，这已经是完全的生产力的方案了。这一波显卡上涨就是因为strata引擎的爆火。

strata deepseek v4.1flash 1017的方案10/23将开源

https://realsquall1980-art.github.io/pelican-ride-3d/
我已经本地部署好了，80token/s，这是做的鹈鹕3d

现在已经蒸馏了一个自己，做了一个27b小模型的lora，以后就更方便了。

[ 本帖最后由 realsquall 于 2026-10-22 19:24 编辑 ]