» 您尚未登录:请 登录 | 注册 | 标签 | 帮助 | 小黑屋 |


发新话题
打印

[其他] 想买个大显存的N卡玩AI,有啥推荐的么?PRO RTX6000?

目前wan2.2在24g下的上限是1280*960 161p,再高就爆显存。苹果这类统一构架用带宽比传统内存高很多但离显存带宽还是有数量级的差别。
另外,从模型结构上对于极大数据目前也是异步并行处理,也就是说可以分布或者做后期,比如nano banana最近比较火的设计图生成就是多个模型结果合并,并不需要极大的显存这等级来跑同步。wan2.2上很多几十秒甚至超过一分钟的视频也是多段融合拼接。
另外目前开源或民间同好的模型在样本分辨率上都做了限制,单帧并不会有极高的分辨率(能可控有效直出4k的都非常少,zit也就2k,qwen到4k基本就是失控)所以对显存压力并不太大,反过来说如果没有这种极大占用显存的模型或直出分辨率极高的能力,超过48g以上的显存对个人用户用途并不大,大概简单操作下的唯一作用就是受控延长视频输出帧数,其他就涉及较为复杂的应用了。

[ 本帖最后由 踩姑娘的小蘑菇 于 2025-12-30 09:25 编辑 ]


本帖最近评分记录

TOP

上面说的还是不太全面,玩AI 有两个路径,纯计算还是包括训练,ai硬件分两种一个是计算卡或设备,比如现在手机CPU都附带NPU单元,就是作为边缘计算用,不跑训练,比如刷脸认证、实时路况的导航路径、拍照和视频处理等等就是依靠NPU计算本地模型。一个是训练卡,可以对预处理标注后的数据进行训练,当然也能跑计算,比如现在的cuda单元的RTX游戏卡。
大部分人离线也只玩计算,就是用别人做好的模型来跑生成,当然还有少部分人会自己搞数据来跑训练,特别是一些公开平台上没有的或者过于小众不好找的,不说checkpiont至少跑跑lora还是比较容易的,比如想弄个一般模型里都没有的稍有姿势、服装、表情、face之类。
从需求上看,计算卡对硬件需求是有限的,常规限制源于模型大小限制,cuda数量决定速度,显存决定容量。而训练就是无上限的,容量越大越好否则数据处理效率就会很低(不要妄图用内存虚拟显存来代替,两则之间的带宽差异极大,而且很多预处理软件压根就不支持这种虚拟),几百G显存都是常见,数据总量是可以无上限的,要LLM蒸馏也必须先有初始的模型才谈得上优化,训练也是要追求效率的。

[ 本帖最后由 踩姑娘的小蘑菇 于 2025-12-30 16:27 编辑 ]



TOP

发新话题
     
官方公众号及微博