OpenAI大礼包:实时语音、模型蒸馏都上了，要卖最好的货赚最多的钱
作者 ｜ Jessica 邮箱 ｜ [email protected]
今天，OpenAI 2024年首场DevDay在旧金山2号码头的Gateway Pavilion低调举办。
与去年风风火火的官宣造势不同，今年开发者日的消息只在两月前OpenAI Developers 的X账号出现过一次，以至于好多人都不知道这事儿。
参会者基本是受邀客户和筛选出的一线开发者。地点保密至最后一刻，直至当天才透露的神秘日程，且没有直播。
会前，Sam Altman快速发布一条推特：
“今天为开发者推出了一些新工具！
从上次DevDay到这次：GPT-4到4o mini的每个token成本下降了 98%，我们系统中的token量增加了50 倍，模型智能取得了卓越进展，期间还有一点小drama。
我对从这次DevDay到下一次的进展充满期待。通向AGI的道路从未如此清晰。”
正如此前公司开发者体验主管Romain Huet在X平台告知的那样，今年的DevDay没有任何新模型发布，只集中在API改进。
而OpenAI也确实在这个名副其实的“开发者日”上，打包带来了实时API、提示缓存、模型蒸馏、视觉微调、Playground优化，以及扩大o1 API范围、提升速率限制等一系列面向开发者的重要工具更新。
而这些新API的定价并不是绝对便宜，许多开发者评价当它的定价与能力结合，才显得有吸引力。此次诚意尽显的开发者大礼包一次性奉上，OpenAI还是想通过卖最好的货，来赚最多的钱。
图源：@swyx | x.com
1
实时API：一步构建自己的“Her”应用
作为今天最吸睛的功能，实时API （Realtime API）允许开发者调用ChatGPT高级语音模式的底层模型gpt-4o-realtime-preview，在应用中构建快速、自然的语音到语音对话体验。支持6种预设语音，实现低延迟的语音交互。
以往创建语音助手时，开发者需要依赖多个模型来完成不同任务：先用类似Whisper的语音识别模型将音频转录成文本，再将文本传递给语言模型进行推理，最后通过文本到语音模型生成语音输出。不仅流程复杂，还容易丢失情感和口音，且存在明显延迟。
而实时API只需一次调用，即可完成整个对话流程。通过流式传输音频输入和输出，极大地提升了对话的自然性和响应速度。它使用持续的WebSocket连接与GPT-4o交换消息，并支持函数调用，能快速响应请求，执行如下订单或提供个性化服务等操作。还能像高级语音模式那样，自动处理中断，确保用户体验更加顺畅，非常适合客户支持、语言学习等需要高互动性的场景。
在现场，工作人员演示了通过实时API构建的语音助理，帮台下100多名开发者“打电话下单400颗草莓外送”的demo。
目前，实时API的公开测试版已向所有付费开发者开放。定价方面，每百万token输入5美元，输出20美元，约合每分钟音频输入0.06美元，输出0.24美元。
开发者可以通过Playground或官方文档快速入门，并借助LiveKit、Agora、Twilio等合作伙伴提供的音频组件库，集成回声消除、声音隔离等功能，从而轻松构建和部署语音助手。
OpenAI还计划逐步完善实时API，包括支持更多模态（视觉和视频）、提高速率限制、提供官方SDK、引入提示缓存、扩展到GPT-4o mini等模型，来进一步拓展开发者应用场景。
1
提示缓存：1小时内重复调用token享半价
许多开发者在构建AI应用时，常常会在多个API调用中使用相同的上下文，提示缓存正是为了减少重复调用的成本和延迟而生。
它能够自动保存开发者最近使用的输入内容，并在这些内容再次被调用时提供50%的费用折扣，同时加快处理速度。特别适合编辑代码库、或与聊天机器人进行长时间多轮对话等任务。
从今天起，提示缓存应用于GPT-4o、GPT-4o mini、o1-preview和o1-mini的最新版本，无需开发者额外操作。当提示长度超过1024个token时，API会自动保存已处理过的部分，并以128个token为单位进行增量缓存。缓存数据在5到10分钟不活动后自动清除，最多保存1小时，而且缓存数据不会在不同组织间共享。
1
模型蒸馏：从零开始，一站式微调小模型
模型蒸馏是一项新功能，旨在通过使用大型、强大的模型（如GPT-4o或o1-preview）的输出，来微调更小、更具成本效益的模型（如GPT-4o mini），以在特定任务上接近高级模型的性能，但成本大大降低。
此前，蒸馏是一个复杂且容易出错的多步骤过程，开发者需要手动管理多个环节，如生成数据集、微调模型和评估性能等。现在，开发者可以在OpenAI平台上通过一体化的工作流程轻松完成这些任务。
提供的全新模型蒸馏套件包括：
1.存储完成（Stored Completions）：通过API自动捕获并存储由GPT-4o或o1-preview等模型生成的输入输出对，快速生成用于蒸馏的数据集。
2. 评估（Evals）：开发者可以创建自定义评估，衡量模型在特定任务上的性能，无需手动整合复杂的工具。
3. 微调功能集成（Fin-tuning）：存储完成和Evals与现有的微调工具无缝整合。
在实际操作中，开发者首先通过Evals创建评估来检测目标模型（如GPT-4o mini）的表现。接着，使用存储完成功能，自动保存GPT-4o生成的输入输出对，创建适用于微调的真实数据集。这些数据经过审核和优化后可用于微调小模型。微调完成后，开发者可再次使用Evals来测试模型性能，确保其接近大型模型水平。
模型蒸馏现已对所有开发者开放。为鼓励开发者使用，OpenAI每天免费提供200万训练tokens用于GPT-4o mini，100万tokens用于GPT-4o，一直持续到10月31日。“存储完成”功能免费，Evals按token使用量收费。开发者选择与OpenAI共享评估结果后，还能获得每周免费运行7次Evals。
1
视觉微调：引入图像数据集，让AI更能“看懂”世界
GPT-4o的API新增了视觉微调功能，允许开发者除文本外，还可以使用图像进行模型定制。从而增强模型的图像理解能力，使其在诸如视觉搜索、物体检测、自动驾驶、智慧城市管理以及医学影像分析等领域更加擅长。
工作流程上，视觉微调与文本微调类似。开发者可以准备好格式化的图像数据集并上传到平台，仅使用100张图像就能显著提高模型的视觉任务性能。随着更多数据的加入，模型表现会持续增强。
例如，食品配送公司Grab就通过100个图像示例，教会了GPT-4o正确定位交通标志并计算车道分隔线。在基础GPT-4o模型上提高了20%的车道计数准确性和13%的限速标志定位准确性，大幅优化了地图数据。
视觉微调也已经即插即用，付费开发者现在就可以使用最新的GPT-4o版本“gpt-4o-2024-08-06”进行图像微调。OpenAI在10月31日前每天提供100万免费训练token，之后按每百万token 25美元收费。图像输入根据其大小计算，收费标准与文本输入一致。
除了以上四项主要工具更新外，OpenAI还为Playground新增了提示词优化功能：只需描述想用模型实现的功能，Playground就能自动生成提示词，以及有效的函数和结构化输出模式，快速将你的想法转化为实用原型。
新发布的o1 API继续宽限：扩大了第3层开发者的访问权限，提升各级别速率限制（tier 3每分钟5000），以使应用更快进入生产环境。具体定价与规格可以参考OpenAI Platform页面的Rate limits选项。
1
奥特曼现场答疑：仍注重研究、Agents未来完成1个月工作量、点赞NotebookLM、o2比各位都聪明
根据会议日程，主会场进行OpenAI团队的重要发布和各项更新讲解，分会场为合作伙伴展示及工作坊。
下午4点，OpenAI 首席执行官Sam Altman与6月新上任的首席产品官Kevin Weil登台，开始45分钟的炉边对话环节，对白天征集的与会者问题进行解答。
图源：@swyx | x.com
根据推特用户@swyx现场整理，两人回答的问题涉及OpenAI使命、AGI、AI对齐、智能代理等方面。还特别点赞了谷歌的NotebookLM和Anthropic的Projects：
问：OpenAI是否依然致力于研究？
答：OpenAI比以往更加致力于研究。曾经我们只专注于扩大规模，其他公司模仿OpenAI也没问题。但当我们尝试创造全新的事物时，研究依然非常重要。OpenAI未来会继续将研究与产品紧密结合。
问：我们离AGI有多远？
答：通过o1，我们显然已经达到了第二个阶段。从上次DevDay的GPT-4 Turbo到o1之间的进展很大，接下来的两年发展速度会非常快。AGI将是一个平滑的指数增长过程，没有明确的界限或里程碑。没有人在意图灵测试被跨越的具体时刻，未来的历史学家回顾时或许会有不同的看法。
问：AI控制计算机的难题是什么？
答：安全性和一致性。
问：OpenAI只是口头上重视一致性吗？
答：我们非常关心构建安全的系统。希望开发出功能强大的模型，随着时间的推移，这些模型会变得越来越安全。o1显然是我们最强大的模型，同时也是我们最符合一致性的模型。
问：o1在年底前支持功能调用和系统提示吗？
答：模型会变得越来越好。o1现在处于GPT-2的规模，我们知道如何将它提升到GPT-4的水平，计划是让模型快速提升性能。
问：智能代理（Agents）如何融入OpenAI的长期规划？
答：聊天功能很棒，但如果想象能实现相当于人类数天努力的事情呢？目前人们谈论代理技术还不太严肃，但这将对世界的运作方式带来非常重大的改变。我们会要求代理完成一些需要一个月时间的任务，甚至多个任务。到2030年，人们将视这一切为理所当然。
问：使用AI作为核心功能的初创公司应该怎么做？
答：AI并不能让你摆脱正常的商业法则。
问：语音功能直接与人类体验相关，伦理方面的考量呢？
答：我会对ChatGPT说“请”和“谢谢”，其它你永远无法确定。
问：你欣赏竞争对手的哪个功能或能力？
答（Sam）：NotebookLM，做得非常好。现在推出优秀新产品的人并不多。
答（Kevin）：Anthropic的Projects做得非常出色。GPTs设计用于持久重复使用，而Anthropic的Projects较短暂，但其心智模型非常有效。
Altman还表示，希望高级语音模式以后能实现唱歌功能，但目前仍持保守态度。以及模型的长上下文能力将达到1000万token，10万亿token将在十年内实现（但并没有人说到OpenAI架构转换和7%股权的事）。
对话环节最后，Altman也向台下开发者们提了一个问题：“谁认为自己比o1更聪明？”
一些人举起了手。
“你觉得在o2发布时你还会这么认为吗？”Altman继续问道。
这次回应他的，只有略带紧张的笑声了。
1
OpenAI正在全力争取开发者
DevDay召开之际，恰好也是OpenAI筹集70亿美金重要融资、高层管理团队大换血、口碑形象连遭外界抨击的动荡关头。
首席产品官Weil在媒体简报中表示，公司的进展不会因为高管离职潮而放缓。
“现在我们拥有超过300万名开发者，在过去两年里API成本已降低了98%。”
从今天的高级语音、视觉微调、蒸馏等各种功能引入API，到整体价格降低和各种鼓励政策，再到排满的客户用例展示....足以看出，OpenAI正在说服广大开发者，自己仍然是构建AI应用的最佳平台。
但OpenAI的地位并非固若金汤。一名在硅谷做AI社交代理的开发者告诉硅星人，自己选用OpenAI API的理由是他们起步早，在很长一段时间内处于行业领先地位，尤其coding做得很好。能力稳定可用，调用方式简单，学习成本低，逐步降价对于开发者来说也可以接受。
“但是现在我们也考虑使用Claude。因为他们发展出了一种新的思路，就是通过伪代码的prompt去优化结果。这个从体验上很像o1，但是比o1更快更便宜。它的projects和super prompt功能非常牛逼。
OpenAI在那场风波之后明显研发陷入停滞。很多东西都没有在更新了。而 Claude就是一片生机勃勃，现在用Claude的人给我的感觉是更聪明，更会用AI的人。”
面对这些竞争，OpenAI这一次发布的这些API诚意满满，同时定价也并不算很低。
在模型层面没法直接降维打击遥遥领先的今天，OpenAI把重点放在争夺开发者身上，想要用最好的货，来吸引开发者和客户们。在今天的竞争里，谁都想要做赚最多钱的那个，这样才有可能为下一次遥遥领先的机会做好准备。
封面图源：@gooby_esq | x.com
Wed, 02 Oct 2024 02:21:34 GMT 原文链接🔗：