本地智能 | Tony's toy blog

这两天秋意渐浓，难得的舒适，长假马上就要结束，遂来写上一写。事到如今，写博客就好像对着虚空呐喊，我并不指望收到回声，只是安抚偶尔涌现的焦虑，求一种释放的感觉。

AI的加速还在继续，普通的技术分享已经没有意义了，甚至手写代码也已经成为过去式。上一篇博客是三月份，回头看看这不到半年的时间，其实是个天翻地覆的过程，现如今AI已经可以做动效视频、推导数学定理、攻击网站造成瘫痪等等，这样的变化在过去是难以想象的，只不过作为程序员的我们，可能更加习以为常一些罢了。看看这张梗图，模型的生命周期越来越短，能力越来越强，有理由相信模型自进化已经开始发挥作用。

这半年有激动，有焦虑，有无奈。想来我耗费如此多心血、承受巨大心里压力、耗上了我最年富力强的年华，来转行做程序员，来刷各种算法题，来开发各种程序，如今回首，单就产出的东西来说，已经是一文不值，剩下的可能只有作为油条程序员的认知和判断力，但这也是这个时代最为宝贵的东西（也许？）。虽然我已经是老油条，早已不再憧憬各种炫酷的技术，但偶尔看看之前手写的代码还是会慨叹几句，毕竟我是个有代码洁癖的人。十分推荐看看Ruby之父的这段演讲（需科学上网），这位DHH大佬真是少见的如此会表达的程序员：

我已经从职业程序员的岗位上退休了。具体哪天我还没确定。我想大概是在四五个月前，也许是三月。我花了整整四分之一个世纪的时间手工雕琢代码，享受每一个时刻。那真是一段美好的经历，也是一段富有成效的时光。我认为我们都应该不带遗憾地看待这个问题，而是带着对过往的喜悦，庆幸我们曾亲身经历过那些不得不做手工编写代码的时代，因为这些时刻充满了兴奋、求知欲、满足感和心流状态。这不是一件应该带着遗憾回首的事，这是一件应该带着喜悦回首、并接受它已经结束的事。手写代码对于绝大多数公司里的绝大多数程序员来说，已经不再是一项具有经济生产性的工作了。到今年年底，几乎所有领域、所有公司都会如此。所以我们最好习惯这一点。我们最好拥抱这个事实：我们曾有过一段用手工雕琢代码的美好岁月，而它已经结束了。而在那另一边，是一份新的职业，一份令人兴奋的职业，一份充满活力的职业——作为一名专业的造物者。是的。你不再用手工雕琢代码了，但你会创造出令人惊叹的东西。你会去驾驭那些直到不久前还只存在于科幻小说中的智能。能在鸿沟的两边都身处其中，既经历过我们全靠手工完成一切的年代，又恰好身处我们切换过来的那一刻，这是何等荣幸。

站在更高点的视角来说，如何培养菜鸟可能是个更严峻的问题，通往资深的路被AI给挖断了，那些零散的、简单的任务现在老油条敲几句话AI就干完了，新人进来做什么呢？不过也许这些在以后都不会成立，就现在这个发展速度，很难判断未来会变成什么样。

新的碳基生命

虽然今年中秋和国庆连到一起已经是个长假，但算起来我已经“休息”了有快一个月，因为我的小情人来到了这个世界，崭新的碳基生命。她来得还算顺利，老婆怀胎十个月也没出什么大问题，尽管最后羊水浑浊去剖了，最终还是平平安安。现代医学将出生的风险降到了极低，手术室门口焦虑地来回踱步只存在于小时候的电视剧。

对于这个新的家庭成员，要说兴奋，其实也没那么多。刚出生的婴儿对于父母来说，还是麻烦更多一些😢。经过这么多天的观察和相处，她应该是个需求比较高的宝宝，还是个睡渣。哇哇暴哭的时候，真的很难保持爱意。我想我应该还算是有点耐心的那一类了吧，但依然很难在多次哄睡失败、落地醒之后还绷得住。还好有月嫂阿姨在，过了最初那几天，我大部分时间仍然是自己的，还是老婆更辛苦些。我想等她大一点了会交流了，才会有真正的养娃体验吧。

新新人类的教育和成长在AI时代也是个不太好决策的事，有的人早早的让小孩用上了AI，充分发挥白纸的想象力；有的人却偏向克制，禁止让小孩使用AI，认为先把能力培养好最重要，以后有的是机会用AI，省的过早形成依赖。在我目前看来，小孩的成长一定是不会完全随父母的意愿，靠封、靠堵不一定有效，但过早形成对AI的依赖也不行，这也是我会去考虑职场新人的困境的原因之一，毕竟小孩的成长也是一样。说白了，什么才是这个时代最重要的能力呢？要怎么培养这种能力？这是个大话题，不展开了，还是用心体验吧。

新的硅基智能

近期最火的AI事件是Opus 5.5做动效视频，各种自媒体疯狂秀眼花缭乱的“一句话生成”的结果，充斥在社交平台。但是这一波看起来没有火出圈，还是科技圈内的自嗨，毕竟Anthropic这家公司仍旧是在不停的封号，强度愈发更甚，绝大多数人用不上这个玩意儿，A畜不是白叫的。早之前我还尝试过注册A家，结果尼日利亚Apple Store礼品卡充了，还没购买呢号就没了，同时公司的team账号同样无法幸免。后来基本也就没怎么用过A家的模型，毕竟openai也追上了一些，国产的几家能力也上来了，不是所有工作都需要如此高的智能，无非是用的痛不痛快。但是无论如何，人类对高阶智能的渴望是无止境的，我也不例外，我也喜欢大炮轰蚊子。

但是最近让我更受冲击的不是这些，而是本地模型能力的崛起，显然，这会改变一些事情。整个假期的后半段我几乎都沉迷于此，效果出来的几个时刻真的令我“瘫坐在电脑前”，再一次认为，存储和GPU太重要了，电子器件的涨价目前仍看不到头。去年购买台式机，选装了个近一年来几乎用不太上的配置，想着打3A游戏，结果根本没时间、没心情，所谓“欲买桂花同载酒，终不似，少年游”，大抵就是如此。本来都觉得有点浪费，直到这一刻，反倒是觉得配置买的还不够高。当然，当时我也已经考虑了想玩本地模型，只可惜消费级显卡没有大显存低能力的道理，自然也不会有这种配置。那会本地也就跑跑 7b / 14b 这些小东西，就是个聊了两句再也不会打开第二次的玩具。

而现在，不一样了，再一次喊出那句话：“大人，时代变了”。首先是 Qwen Image 2.1，直接把本地文生图、图生图的可用可玩的门槛拉下来，这个生图的质量在一般场景下，相比最前沿的模型已经没有输太多，可控性和文字能力也都有了，可以说比较水桶。然后最重要的一点：生成速度进入舒适区，1k的图片10s以内就能产出，这对于这种需要频繁调整、抽卡的场景太重要了。为此我还琢磨了半天comfyUI，这些成熟的软件也让艺术工作的便捷性大大增加。尽管这类软件有一定的门槛，但有AI加持，这些电脑上干的活都不再有难度。简单放几张生成图片（博客自动压缩过），你能看出来这些是消费级电脑在 10秒内生成的么？

而本地生图自由之后，视频也安排上了，Minimax-H3 开源量化版同样可以在我本机运行。只是目前视频生成吃的资源还是略有超出我机子的上限，分辨率稍高一点生成起来就比较慢了，还没有进入甜点区，并且视频生成的prompt确实是比较复杂，外行人借助AI也不一定写的好。但是无论如何，做点仿制小视频那是手到擒来。

还有一点，无论好与坏，图片和视频的NSFW内容永远是最吸引人的，这两个模型基本都没有什么围栏，再加上一些社区的一些工作流和Lora，可以说是飞天遁地无所不能。对于有自控力的成人来说，很新奇很刺激，但是对未成年确实是个隐患，教育工作任重道远。

写图片和视频的prompt非常考验想象力和一些专业的描述性词语，你要我完全自己写那真是太难了，绝大多数时候是在社媒和prompt网站找例子试验和改造，爽感来的快去的也快。我自认还是有一些审美品位，但是审美和造美完全是两个level。当我的工作流全部准备就绪，会发现不知道应该生成些什么，脑子一片空白，在这方面我确实没有天赋。同时，我的工作和这些能力暂时毫无关联，因此这个东西要是无法赚到钱，最终还是个乐子，成就感有，但来的快去的也快。

如果仅仅是生图和生视频，也不足以让我持续瘫坐，最让我改观的还是Strata这个项目，直接让我本地能够跑起来125B的Qwen3.8-Flash-Next（当然了，是做了优化和裁剪），这绝对是超级大跃进，依靠 VRAM / RAM / SSD 的逐级装卸，把相对前沿的智能运行在消费级显卡上，并且做到50~60 token/s的生成速度！此时真恨没上64G内存了，建议有条件的都要去试一试。

这是我用其中的coder版本生成的鹈鹕骑自行车：

而这是gpt-6-luna做的：

相信已经不需要我来证明coding agent的重要性，它已经在各种领域大显神通。在本地拥有高级模型意义非凡，速度、隐私、NSFW都很重要。诚然我现在可以方便的使用公司提供的高级模型的token，自然是没什么大量用它的欲望，但是公家的东西总归不是长久之计，哪天没有了，就是它登场的时候。唯一的遗憾是跑起来内存吃满，并且coder模型对CJK语言支持的不好，真要用来干活还差点意思。但是能在现在这个时间点看到这样的效果已经是远远超出我的预期了。