q3s精度，12G显存 64G内存可跑，速度惊人。moe架构未来大有可为，要看看deepseek未来的社区版本了。
校准实测结果（热身后，非冷启动）：

--calibrate 调出：--pool-workers 31，官方测量 132.4 tok/s

真实前后对比（五言绝句，本机 LAN）：
- 优化前：thinking ON ~50 tps / 首答 3.3s；OFF ~90 tps
- 优化后：thinking ON ~105-130 tps（首答 1.5s）
- thinking OFF ~133-148 tps（首答 1.4s）

提速 +40~60%，比官方 5070 基准（53）高出 2 倍多。之前那次 11.9 tps 是刚重启的冷缓存假象，热了就回来了。

服务状态：0.0.0.0:8080 已恢复，模型 loaded，ctx 262144，vision 开，校准配置已写入。


RTX5090 Gen4 X8 EPYC 7402 128g 内存分配 80g PVE 直通

Time        Status        Prompt        Reused        Output        Tok/s        Hit rate        Duration
18:50:05        Done        58,252        56,418        1,033        115.9        95.9%        11.8 s
18:49:59        Done        56,423        55,647        299        128.2        93.8%        4.1 s
18:49:50        Done        55,652        50,395        434        108.5        90.4%        7.1 s
18:46:37        Done        55,673        0        415        102.1        92.6%        26.2 s
18:46:29        Done        779        0        696        111.2        92.1%        8.0 s
18:46:01        Done        55,105        0        347        95.6        83.7%        27.3 s
18:45:58        Max tokens        63        58        250        117.4        95.5%        2.2 s
18:45:52        Max tokens        63        0        250        92.3        85.1%        3.5 s
18:45:38        Done        54,432        54,086        1,474        115.0        93.6%        14.0 s
18:45:18        Done        54,091        16,384        237        103.7        88.1%        18.0 s
18:41:11        Done        206,577        206,472        267        90.9        96.9%        3.8 s
18:38:26        Done        206,477        16,384        258        97.1        95.5%        73.5 s

我的单卡pro5000 72G原先是跑不了q4权重的118G，经过仓库改造，现在单卡可以跑。
长上下文（227K token prompt，256K 原生档，needle 测试）
请求        prompt        prefill 耗时/速度        decode        MTP 接受        命中率        盘读
串行 #A        227,843        61.42 s / 3709.4 t/s        80 tok @ 82.6 t/s        47/62 (75.8%)        96.5%        1302 blob
串行 #B        227,846        61.24 s / 3720.4 t/s        80 tok @ 96.2 t/s        53/76 (69.7%)        97.2%        2604 blob
串行 #C        227,855        61.49 s / 3705.7 t/s        80 tok @ 117.3 t/s        55/69 (79.7%)        98.9%        3906 blob
并发 #A        227,843        61.60 s / 3699.0 t/s        80 tok @ 108.4 t/s        50/65 (76.9%)        98.3%        5208 blob
并发 #B        227,846        61.77 s / 3688.8 t/s        65 tok @ 128.2 t/s        44/51 (86.3%)        98.7%        6510 blob
并发 #C        227,855        61.92 s / 3679.9 t/s        73 tok @ 124.1 t/s        48/61 (78.7%)        99.0%        7812 blob
关键观察：

prefill 速度在 227K 长度下并发零劣化（3709 → 3680 t/s，-0.8% 在噪声内）
decode 从短文 96 → 长文 108-128 t/s 不降反升（MTP 接受率 55%→79%，长文重复结构利于草稿命中）
专家命中率随使用自适应爬升：96.5%（首条 227K）→ 99.0%（第六条）——adaptive swap 把热专家持续换进显存，盘读是"预热代价"不是稳态
单路 227K 全流程（prefill+decode）62-63 s  

震惊瘫坐，q4精度100多token 227kprompt，predill+decode只要一分钟。而且显存占用64G，内存占用96G。速度比之前的q4部署方案要快一倍多。这方案比之前27b fp8方案都要好很多了。毕竟3.8 flashnext q4权重118G，而27b fp8只有29G，同样条件220kprompt下，速度比flashnext q4慢30%。

以前我的双卡72G pro5000跑3.8 flashnext q4权重大概只有60t/s，现在单卡可跑，速度还快一倍。
本地部署的q4画的鹈鹕比在线满血版还好，速度还一样。平替了。

[ 本帖最后由 realsquall 于 2026-10-2 23:42 编辑 ]

posted by wap, platform: Chrome
能发点大家看得明白的吗？要是发个教程也行。。这完全看不懂

posted by wap, platform: Android
这种就和有好好的“token”不用，非要用什么“词元”一样，不伦不类，鬼才看得懂。

已经把图发出来了，真想用的去github仓库查一下啊，有ai了，啥都很方便了。还在问这些问题的，是不是连agent是啥都不清楚啊

posted by wap, platform: Chrome

引用:

原帖由 @realsquall  于 2026-10-2 23:04 发表
以前我的双卡72G pro5000跑3.8 flashnext q4权重大概只有60t/s，现在单卡可跑，速度还快一倍。
本地部署的q4画的鹈鹕比在线满血版还好，速度还一样。平替了。

喷了，第一张是本地3.8 flash next画的还是第二张？

可以做一个Q3_S的鹈鹕测试吗？ 看下跟27b的差距

posted by wap, platform: Chrome
看看

qwen没咋用

不过要本地能跑deekseek flash 4.1, 那是真的完全可以用的

posted by wap, platform: Android
中低硬件确实MoE 比dense 优势大多了

引用:

原帖由 icetea776 于 2026-10-3 11:52 发表
可以做一个Q3_S的鹈鹕测试吗？ 看下跟27b的差距

我的笔记本正好是5070ti 12G和64G ddr5600，我安装下试试，临时用用也是可以的

引用:

原帖由 folkfox 于 2026-10-3 11:25 发表
posted by wap, platform: Chrome
喷了，第一张是本地3.8 flash next画的还是第二张？

第一张

8845hx cpu
64G ddr5 5600
5070ti 12G

192k上下文
40token/s，已经完全可以应用了

posted by wap, platform: Android
我用27b装了这个next flash，然后用qwen next flash 自己把自己破限了。牛逼

posted by 论坛助手, platform: iPhone
拍断大腿，5090dv2 加 32g 内存 2333