前OpenAI研究员Diogo Almeida创立的旧金山AI实验室TypeSafe AI发布了Jev，这是其所谓的System One Models中的首款产品。Jev不生成文本，而是返回带有类型的概率化决策，软件可以直接据此采取行动。
调用方会发送一段状态信息（可以是字符串或结构化数据）以及一组带有类型定义的问题。Jev会在单次并行处理中对它们进行全部评估，并返回Choice（选择）、Score（评分）和Noul（布尔概率）答案，同时附带概率分布和置信度值。这样，调用代码就可以在置信度高于阈值时直接执行操作，并在低于阈值时进行升级处理。其输入成本为每百万Token 0.042美元，输出免费，上下文窗口为32000个Token，TypeSafe给出的端到端延迟为70毫秒至500毫秒。该模型的训练采用了一种名为“校准决策强化学习”（Reinforcement Learning for Calibrated Decisions）的方法。
Vercel在Jev发布的第二天就将其加入了AI Gateway，并表示在24小时内，它已覆盖了近13%的付费团队，这一比例是GPT-5.6系列模型的两倍。Netlify随后也进行了跟进，LangChain发布了TypeSafeClassifier集成，支持模型路由以及一种AutoMode中间件，该中间件可在工具调用执行前对其进行筛查。此外，几天内还涌现出五个独立的Elixir语言客户端。
Vercel的工程师Pranit Sharma发现，安全分类器的运行速度比它所替代的大语言模型（LLM）快了5到18倍。Bryo AI的CTO Nikhil Mudholkar认为，Gemini在邮件分类上的准确率略高，但成本却高出了10到20倍，他看重Jev是因为它是唯一能返回真实概率的模型。Earendil的CTO Armin Ronacher在接受TechCrunch采访时表示，这种设计“在一定程度上将幻觉问题交给了用户”，因为用户必须自行决定50%的概率是否值得采取行动，他还指出模型路由是另一个非常适合的应用场景。OpenChamber对12759条发布推文进行的分析显示，用户报告的速度提升中位数为7倍（远低于官方宣称的193.6倍），成本节省的中位数为30倍，延迟中位数为76毫秒，上四分位数为270毫秒。
Reddit上的一位开发者称该模型在200毫秒到300毫秒延迟下处理智能体任务的表现“绝对疯狂”，而Hacker News上的一位早期体验用户称其“非常巧妙”，同时提醒其分布外行为（out of distribution）的表现会与大语言模型有所不同。
在Hacker News上，一位开发者指出，Jev虽然不会输出无效的类型，但仍然可能输出完全错误的合法值：
首先，祝贺团队发布了真正有趣且新颖的东西。不过，似乎更准确的标题应该是“Jev：用通用生成能力换取快速的类型化推理”。
这确实很有意思，但速度对比似乎有些误导性？能够输出图灵完备语言代码的生成式模型，理论上可以完成计算机能做的任何事情。
Jev只能生成结构化输出，对吧？这对于分类、路由、评分可能非常有用，但它与我们今天用于代码和自动化的代码生成模型完全不同。
另外，“不会产生幻觉”的说法似乎不准确？确实，它不会输出无效的类型，但仍然可能输出完全错误的合法值。你完全可以通过适当的约束机制等，强制大语言模型输出结构化内容。
准备替换LLM分类器的团队应从jev-1.13版本的“已知不稳定特性（jaggedness）”页面入手，该页面记录了其在计数、算术和日期比较方面的不可靠性，以及在处理包含大量噪声的长状态信息时准确率的下降问题，并建议将数学计算保留在代码中完成。在版本管理上，请固定使用如jev-1.13.0这样的具体版本，而不是使用不断更新的jev-latest和jev-preview别名，在进行基准测试时，请使用System One adapter适配器让现有模型针对相同的Schema运行。快速入门指南涵盖了API密钥、SDK和Playground的使用说明。
TypeSafe AI是一家位于旧金山的AI实验室，由Diogo Almeida、Erik Gafni和Sasha Sheng共同创立。Almeida是RLHF的联合发明人，并参与了ChatGPT背后的研究工作。
查看英文原文：TypeSafe AI Releases Jev: A Decision-Only Model That Returns Typed Probabilities Instead of Text