引用:

原帖由 cynic0522 于 2026-10-3 22:42 发表
posted by 论坛助手, platform: iPhone
拍断大腿，5090dv2 加 32g 内存 2333

加根32G内存可破，而且非常舒服

posted by wap, platform: Chrome

引用:

原帖由 @realsquall  于 2026-10-3 19:07 发表
8845hx cpu
64G ddr5 5600
5070ti 12G

192k上下文
40token/s，已经完全可以应用了

第二个图啥软件啊, 是管理模型的吗

你是linux装的吗

posted by 论坛助手, platform: iPhone

引用:

原帖由 realsquall 于 2026-10-03 23:12 发表
加根32G内存可破，而且非常舒服

现在这价格下不去屌了，退而求其次 2q 吧

或者试试虚拟内存

posted by wap, platform: iPhone
16g显存，42g内存能用吗
4060ti

5070ti 16G+64g ddr4，Q3_X速度只有35左右，ddr4拖后腿了。 期待再优化一下，能优化成ninfer那个速度就好用了。

https://www.bilibili.com/video/B ... 93c54173bc3738859bf

无审查版的教程

又升级了
5090 32G 64G内存，Strata跑Q4权重，可以跑到100token/s,0.1.39现在已经支持多并发了
2*5080 16G应该比单卡5090 32G还要快。这q4的flashnext，比27b fp8还要强，而且速度快的多。

[ 本帖最后由 realsquall 于 2026-10-5 14:56 编辑 ]

结论：引擎健康，参数为 OOM 修复后终态；最近 12 个请求 decode 中位 135.7 t/s（74.6~169.8），缓存命中率中位 98.6%（93.5%~99.8%）。取样时间 18:42，当前正有 1 路在生成（就是本会话）。

当前参数（/metrics 实读，v0.1.39）

项        值
模型        qwen3.8-flash-next-unsloth-ud-q4_k_xl
上下文        262144（256K）
KV        int8，kv_resident=32768
并发        parallel=4（batch_slots=4，slot_cache=1）
专家缓存        18976 槽 / 55.4 GiB（primary 全在 VRAM）
MTP        spec=6，mtp_max=4，lookup=3，spec_min_p=0.70
对话缓存        8192 MiB / 4 slots（min_free 2560）
显存余量        vram_free 2713 MiB（OOM 修复预留 3072 生效中）
其他        pcie_frac 0.35，images=true，vram_elastic=0
Decode 速度（最近 12 请求）

中位 135.7 t/s，区间 74.6 ~ 169.8
分布正常：单发/尾段请求 150-170，多路混跑时降到 75-90（批窗分摊，符合 10-04 终态审计口径）
prefill：增量读 1~1679 token 时 prompt_ms 仅 1~1.4s（缓存复用），冷段 ~700-3900 t/s
命中率

中位 98.6%，最高 99.8%，最低 93.5%
4 个槽持有 39K~117K token 会话态，reused 普遍 10万+ token，说明 conversation-cache + kv-resident 在真实长会话里持续吃满收益

单卡跑出的速度，单发160token左右，同时也可以四路一起干活了，还带多模态，可以看图片和视频，很满足了。以前126G的权重必须两卡运行，速度也只有50-60token，现在不仅可以动态分配专家层到gpu，其他也可以放ram，大大提高命中率，同时速度还翻倍多。另外的卡可以同时跑视频了，解放算力。

posted by wap, platform: iPhone
那么只有支持moe的模型才能在strata里用吗

posted by wap, platform: Android
今天关注了一下，社区一堆质疑它的inference质量的。

https://github.com/sergqwer/strata-nvfp4
用这个版本，和fp8基本一样了，99%以上，越来越猛了

posted by wap, platform: Android

引用:

原帖由 @qazqaz  于 2026-10-6 05:06 发表
今天关注了一下，社区一堆质疑它的inference质量的。

我用iq3s 体验很好了。让他修之前gpt5.5写的烂尾代码意外的好用

flashnext比27b好用，27b现在除了傻快，质量还差点意思

posted by wap, platform: iPhone
试了下，无限循环了。但是速度挺快的。

posted by wap, platform: Android

引用:

原帖由 @icetea776  于 2026-10-7 00:41 发表
flashnext比27b好用，27b现在除了傻快，质量还差点意思

你确定你知道27b会傻快？125b比27b那个快多了。