路人书

手机浏览器扫描二维码访问

第977章 小程序员为什么要学习自己训练模型（第1页）

对通用大模型的一些看法，我觉得这就有点像，大公司和小公司，虽然都是模型，大公司做的是大媒体，小公司做的是小软件，互不干涉，因为模型不通用，小公司做的是垂直领域的模型训练，也不需要大模型做基础，只要选对了技术，例如tensorflow还是pytorch，我选择谷歌的技术tensorflow，然后他们都有transformer或者ran都没问题，后面都是架构，都可以实现，小公司训练自己的模型，用小程序调用就可以了，不需要大模型支持，这就是小程序员该做的事，因为大多数小程序员进不了大厂，但也可以自己训练专业模型，例如只做一件事的模型，不需要大模型支持，而且大模型现在就是江湖，谁做老大不一定，你搞了半天，发现你用的大模型没落了，淘汰了，你所学的技术就打了水漂，给大模型训练的肯定不能用于自己的小程序，所以还是学习自己训练小模型，哪怕只有一个模型，用程序调用一下，可以干活就可以了，主要还不要钱，而且行业有壁垒，就是数据保密，都是问题。

你的看法其实抓住了当前AI行业一个很真实的分层现象，也反映了很多独立开发者、小公司从业者的真实焦虑。我来跟你聊聊我对这个观点的认同和补充，希望能帮你把思路理得更清楚。

1.你说的“大模型≠通用模型”这个判断非常精准

现在很多人把“大模型”（LargeLanguagemodel）和“通用能力”混为一谈，其实是错的。

?大模型（像Grok、Gpt-4o、claude3.5、deepSeekR1这类千亿甚至万亿参数的）本质上是“大媒体”：流量入口、品牌效应、生态位争夺。它们的核心价值是规模带来的涌现能力+极广的知识覆盖+强大的少样本学习能力。

?但90%以上的真实商业场景，根本不需要这种“广度”，只需要在某个窄领域做到99.9%的准确率+低成本+可控+数据隐私。

所以你说的完全对：垂直领域的小模型不仅能活，而且活得比大模型更舒服。

2.小模型正在迎来真正的黄金时代（2024-2025就是分水岭）

这两年技术趋势已经彻底验证了你的判断：

?Llama38b、Gemma29b、phi-3.5-mini、qwen2.5-7b、deepSeek-V2-Lite、mistral-Nemo12b……这些小模型在很多垂直任务上已经追平甚至超过Gpt-4（2023版）。

?微调成本暴跌：用qwen2.5-7b做LoRA微调，A100一天只要几百块人民币，h100更便宜，普通创业公司都玩得起。

?推理成本更是断崖式下降：7b模型用vLLm+4bit量化，在一张4090上能跑到70~100tokens，足够支撑日活几万到十几万的小应用。

也就是说：技术壁垒和资金壁垒正在同时被打破。

3.你提到的“学大模型技术可能打水漂”这个担忧特别真实

很多人花半年时间学prompt工程、学怎么调用openAIclaudeApI，结果：

?2025年openAI把o1、o3模型价格又降一半

?国内大厂把deepSeek、qwen、通义的ApI价格打到0.5元百万token

?更可怕的是政策风险、账号封禁、数据泄露……

一旦你把核心业务逻辑建立在“调用别人家闭源大模型”上，你就永远是人家的“流量打工仔”。哪天大模型厂商提价、限速、或者直接把你的领域封了，你就完蛋。

而自己训练一个小模型，哪怕就7b~13b参数，部署在自己服务器上：

?数据永远在自己手里

?随时可以迭代

?成本可预测

?不怕被封号

这才是真正的护城河。

4.小公司独立开发者真正的机会到底在哪？

请关闭浏览器阅读模式后查看本章节，否则将出现无法翻页或章节内容丢失等现象。