搞了几天，终于在24GB内存的Mac Mini M4比较爽地用上本地龙虾了

zhufigo

大侠

帖子: 636
精华: 0
积分: 16432
激骚: 22 度
爱车
主机
相机
手机
注册时间: 2002-1-21

发短消息
加为好友
当前离线

16^# 大中小发表于 2026-3-21 22:57 只看该作者

posted by wap, platform: Android
我是24G的M4 pro，9B模型直接webui速度还行，大约60t/s。上龙虾就慢了，看了下每次对话都差不多20k，让它装个小软件，就用掉2M token，喷了。

TOP

wangxia

大侠

帖子: 548
精华: 0
积分: 16720
激骚: 49 度
爱车: 206cc
主机: wii
相机: 350D
手机
注册时间: 2003-1-28

TGFC 2020年度勋章☆☆☆☆

发短消息
加为好友
当前离线

17^# 大中小发表于 2026-3-22 01:41 只看该作者

posted by wap, platform: Android
本地模型在openclaw里用，上下文才是决定速度的关键，每次聊天基本等于把历史记录都发一遍出去，越来越多，内存少的话就爆了，不开新session的话说个hi它都要等几分钟才回复

TOP

黄金大表哥

混世魔头

帖子: 2659
精华: 0
积分: 3889
激骚: 7 度
爱车
主机
相机
手机
注册时间: 2017-9-15

发短消息
加为好友
当前离线

18^# 大中小发表于 2026-3-22 08:15 只看该作者

posted by wap, platform: Android
家里养虾不能取代互联网套餐虾。家里可以养，本地干杂活工作量大。
但在外还是得有在外的助手。

首先，复杂的信息整理工作还是在家进行的，工作成果也可以直接访问家里电脑、nas，不一定要这么尚不成熟的网关。
比如，如果需要大量的信息收集整理，比如下载跟踪几十个股票的资料和新闻，不如让家养虾在家自己干活，在外直接nas看一眼。
而且罗列式的界面比问答式的界面高效多了，毕竟是你自己要的内容。

第二，出门在外需要一个顺手的行程助手，包括吃、行、住，比如当天替你安排下周出行，包括酒店机票。那还是用商家的虾算了。
这些破工作没什么难的，难的是信息分离，谁有权至少是收集信息：出差邮件在公司电脑上，订火车票一般是个人12306，还有各种在线会议用各家平台，分立各种日历。
如果信息能全面汇总到系统上，早就有app全套搞定了。
苹果在这方面做得很好了，关键是商务app认，个人app也认。
现在换了虾你还是得给它说一大段话，或者发一堆手机截图。说白了你变缓存了，漏说/发一点就很麻烦。
还不如做好邮件和日历自动化工作。当然如果是小企业，能有录音，那更牛逼。

然后我那新电脑也能调通，本地小ai，接到扣子上以后，问一句你好，反应十秒八秒是有的。当时就没了兴致。

可能还要优化。

我买电脑是因为春节期间在家用小电脑跑Trae搞小程序，挺有意思的，可以让他长期跑。
长期跑的话成本是个问题，尤其前期tk可能还比较贵。所以买个x86的机器，接合本地跑ai和本地调试。
但程序开发，同时浏览文件列表和大量代码，这种ide界面，用虾显然不如向日葵。虾的好处是简讯通知：主人，您的APP更新好了，我们已经杀了一个小龙虾祭天。

再打个比方，你是生产管理者，你希望每天看到小组长们早请示晚汇报呢，还是随时开电脑都有实时的工厂产量/设备/问题状况图表？
所以我觉得，个人自用，又回到向日葵了。

本帖最后由黄金大表哥于 2026-3-22 00:26 通过手机版编辑