这是一篇没写完的文章。
快速发展的 AI,把手工编程扫入历史的垃圾桶。程序员也只是工场的女织工,码头的纤夫罢了。
快速发展的 AI
AI 基础模型的发展速度之快,基本几个月一个周期:原本正确的事情变得错误;原本不可为的东西变得可为。
以上下文为例,在 GPT3.5 时代,面对 AI 极小的上下文窗口 RAG 还有很重要的意义。而今面对模型小则 200k 大则 1M 的上下文意义越来越小。
线性/稀疏注意力的使用让上下文越来越廉价。PageIndex,乃至直接让 AI 管理文件的 Memory 方式变得流行。
Warning
和一位做政府项目的长辈聊天,RAG + 小模型在政府和企业这种强保密性场景下的「数据治理」仍然是主流。 此处的观点需要被迭代。
AI 写代码的能力在不断提高,接入 MCP,AI 能够使用 IDA-Pro 打败很多逆向初学者,甚至是解决很多实际问题。建立 Agent 系统,AI 在 Feedback Loop 中不断地扩展能力边界。
这一场革命已经无法回头了。
我们不再需要初学者,我们只需要一种人:能够提出问题,监督 AI 解决问题的人。
如果放在更加抽象的层:我们需要的是能给 AI 提供 正确 Feedback 的人,帮助 AI 看到它看不到的东西。
正如 jyy 所言1,我们也许只需要给 AI 「编写字典」,AI 就能替代目前世界上 90%+ 的手工劳动。
这一切都依赖于 Scale-Law 2的假定:假如我们能够不断给 AI 提供有效的数据,同时能够不断地提高模型的参数量和计算量,模型就能不断进步。
至少在目前,Scale-Law 一直有效。我们还没有碰到 Scale 的天花板,也就是说,在可预期的未来,模型的能力只会不断提升。
围绕基础模型的工作,比如 AI Infra,比如 AI Agent,比如具身智能,这些工作会长期存在,直到AI 能够把所有人都替代掉。
Footnotes
-
见Neural scaling law,最早由 OpenAI 于 2020 提出。模型的最终性能主要与计算量 ,模型参数量 和数据大小 三者相关,而与模型的具体结构(层数/深度/宽度)基本无关。 ↩