,
Techritual 香港科技电脑资讯网站,,
Techritual 香港科技电脑资讯网站,,OpenAI 未来计划 2023-2024,16/06/2023,
Stone IP 石先生,1203,
,
Humanloop CEO Raza Habib 早前与 Sam Altman 和其他 20位开发人员坐下来，讨论 OpenAI 的 API 和他们的产品计划，以下是该讨论的翻译内容及主要的关键点：
目前 OpenAI 严重欠缺 GPU
在整个讨论中，一个常见的主题是，目前 OpenAI 极度欠缺 GPU，这已经推迟了他们许多短期计划。最大的客户抱怨是关於 API 的可靠性和速度。Sam 承认了他们的担忧，并解释说，大部分问题是由於 GPU 短缺引起的。
支援更长的 32k token 还不能推广。因为OpenAI 尚未克服O(n^2)的关注度规模，因此虽然他们可能很快就会有 100k – 1M 个 token （今年），但任何更大的窗口都需要一个研究突破。微调 api 也被 GPU 用量性限制。他们尚未使用如 Adapters 或 LoRa 等高效的微调方法，因此微调运行和管理都非常耗费计算资源。未来会有更好的微调支持。他们甚至可能主办一个由社区贡献模型的市场。
OpenAI的短期路线图2023年：
更便宜、更快的 GPT-4
这是他们的首要任务。总体来说，OpenAI的目标是将 “智能的成本” 降低到最低，因此他们将努力继续降低 API 的成本。
更大的 token
在不久的将来，高达一百万个 tokens的上下文窗口是可能的。
微调API
微调API将扩展到最新的模型，但其具体形式将由开发人员表明他们真正想要的。
有状态的API（A stateful API）
当你今天调用聊天API时，你必须反覆传递同样的对话历史并再次支付相同的tokens费用。未来的API版本将记住对话历史。
2024年：
多模态性
这是作为GPT-4发布的一部分进行演示的，但无法在更多的GPU上线後扩展到所有人。
Plugin 没有实现 PMF，可能不会很快出现在 API 上
许多开发人员对通过 API 在外部调用 ChatGPT Plugin 感兴趣，但 Sam 说他认为他们不会很快发布这一功能。就 Plugin 目前的使用情况，除了 browsing 功能之外，其他的使用情况表明它们还没有达到 PMF。他说很多人以为他们想要的是应用程式在 ChatGPT 内被使用，但实际上人们真正想要的是他们自己的应用程式中有 ChatGPT 的能力。
OpenAI会避免与他们的客户竞争 – 除了ChatGPT
很多开发者表示，他们担心使用 OpenAI 的 API 构建应用，因为OpenAI可能发布与他们竞争的产品的时候。Sam 说，OpenAI 不会发布除了 ChatGPT 以外的更多产品。他说，一个伟大的平台公司会有一个杀手级应用，而 ChatGPT 将允许他们通过成为自己产品的客户来提高API的质量。ChatGPT的 愿景是成为工作中的超级智能助手，但 OpenAI 不会触及到更多其他 GPT 的使用。
需要监管，但也需要开源
尽管Sam正在呼吁对未来模型进行监管，但他不认为现有模型是危险的，认为对它们进行监管或禁止是一个大错误。他重申了他对开源的重要性，并表示OpenAI正在考虑开源GPT-3。他们尚未开源的部分原因是他对有多少个人和公司有能力托管和提供大模型表示怀疑。
缩放法则（Scaling laws）仍然有效
最近有许多文章声称“大模型的时代已经结束”。这并不准确地反映了原意。
OpenAI的内部数据表明，模型性能的缩放法则仍然有效，使模型变大将继续产生性能。缩放率的确不能维持，因为OpenAI在短短几年内已经将模型扩大了数百万倍，未来继续这样做是不可持续的。这并不意味着OpenAI不会继续尝试使模型变大，只是意味着他们可能每年只会增加一倍或两倍，而不是增加许多个数量级。
缩放继续有效的事实对AGI开发时间线有重要影响。缩放假设是我们可能已经拥有构建AGI所需的大部分部件，而剩下的大部分工作将是将现有方法扩大到更大的模型和更大的数据集。如果缩放的时代结束了，我们可能应该预期AGI还有很长的路要走。缩放法则继续有效强烈地表明了实现AGI的时间线较短。
结尾
从Sam Altman透露的这些计划来说，对於AI创业者应该是个好消息，OpenAI是有边界的，而且Sam也承认根据市场实际表现来看，Plugin也并没有实现之前很多人预期的那样，让ChatGPT成为一个超级入口+平台。更多人还是想要在自己的应用中去加入并使用大模型的AI能力，并且Sam也明确表示了OpenAI是有边界的，同时受限於GPU，今年内多模态也不会上线。
,Sourcehumanloop,Techritual 香港River
