posted by wap, platform: Android

引用:

原帖由 @EVA1  于 2026-10-24 10:19 发表
我费这个劲为什么不直接买credit用api

本地能部署sota大模型的爽感，用了才知道

引用:

原帖由 babyking 于 2026-10-13 11:35 发表
Strata确实牛啊
5070ti + 64g 内存，q3_xxs能跑到60t/s了

5070ti这么强吗？我的AMD R7 H255平台64G DDR5 5600内存外接闲置的4070 12G跑IQ2_XS只能跑到5t/s，不知道是哪里设置的有问题，或者4070就是这么拉跨？

引用:

原帖由 overall 于 2026-10-27 15:56 发表


5070ti这么强吗？我的AMD R7 H255平台64G DDR5 5600内存外接闲置的4070 12G跑IQ2_XS只能跑到5t/s，不知道是哪里设置的有问题，或者4070就是这么拉跨？

我自己的笔记本5070ti 12G 64G ddr5-5600 iq3s都可以跑35token/s别说iq2了

引用:

原帖由 realsquall 于 2026-10-27 16:52 发表


我自己的笔记本5070ti 12G 64G ddr5-5600 iq3s都可以跑35token/s别说iq2了

你笔记本跑的哪个模型？

posted by wap, platform: iPhone
我是R9000p 3070版本魔改16g显存+ 64内存，跑IQ3-XXS 大概31ts，ai说我的电脑插了第二块ssd后会分走PCIe的带宽，还没来得及拆硬盘测试呢

引用:

原帖由 lusiwen 于 2026-10-28 16:22 发表
posted by wap, platform: iPhone
我是R9000p 3070版本魔改16g显存+ 64内存，跑IQ3-XXS 大概31ts，ai说我的电脑插了第二块ssd后会分走PCIe的带宽，还没来得及拆硬盘测试呢

DeepSeek版的IQ2_XS不论我怎么调，decode都是过不了11t/s

[ 本帖最后由 overall 于 2026-10-30 00:44 编辑 ]

qwen 3.8 flash next. 智商感人，我现在512g内存跑 deepseek v4.1 flash 1017原版，算是能干活了！

引用:

原帖由 shenmu 于 2026-10-29 15:35 发表
qwen 3.8 flash next. 智商感人，我现在512g内存跑 deepseek v4.1 flash 1017原版，算是能干活了！

服务器工作站啊，24通道ddr4吗

我5090d 24g显存 96g内存的台式机基本上能跑120左右
笔记本5090m 24g显存 64g内存 差不多80多
mac已经放弃了 48g m5pro 27b才30-40

posted by wap, platform: iPhone
闲鱼 6100 收了个 7900xtx，跟卖家聊了下他也是玩大模型的，下一步想着是把 16×2 的内存换成 32×2，CPU 淘个 5700X，老机器又活了

确实不错，在Oculink外接4070 12G（带宽Pcie4.0x4），64G DDR5 5600，AMD R7 H255的平台下
DeepSeek-v4.1-flash-1017-IQ2_XS优化完，decode能跑上10 t/s
速度有点慢，但是质量确实要比之前用的Qwen3.6-35B-A3B-Q8_K_XL效果要好很多
因为物理内存和显存太小，一直不停存取SSD，既成为速度瓶颈也消耗SSD寿命，羡慕楼上大佬的硬件

我跑的maya-s 1017的社区量化版，可以到prefill 4000,decode 140,权重也有380G了，觉得够用了

posted by wap, platform: MAC OS X

引用:

原帖由 @cynic0522  于 2026-10-3 22:42 发表
posted by 论坛助手, platform: iPhone
拍断大腿，5090dv2 加 32g 内存 2333

一样拍断大腿，我也是5090dv2，目前是2条内存，总共48G内存。