近日迪士尼彩乐园极速赛车，“李飞飞等斯坦福大学和华盛顿大学的策动东说念主员以不到50好意思元的云诡计用度，告捷考试出了一个名为s1的东说念主工智能推理模子”的音问引起了好多东说念主温情。该模子名为s1，该模子在数学和编码能力测试中的发扬，据传与OpenAIO1和DeepSeekR1等顶尖推理模子不相落魄。

这种零用钱消费水平就能精准复制价值数百万好意思元大模子的音问给了全国相称雄伟的联想空间。但目下咱们确切可以达到这种水平吗？

咱们先望望该模子皆作念了些什么。左证论文，s1能够达到可以效果的中枢有两点：s1K数据集和预算强制法（budgetforcing）。

s1团队构建的s1K数据集包含1000个全心挑选的问题，包括数学竞赛问题、博士级别的科知识题、奥林匹克竞赛问题等，配有推理轨迹和谜底，并通过三个模范进行考证：难度、各样性和质地。这些数据主要来自NuminaMATH、OlympicArena、OmniMath等数据集，当作补充，团队还我方创建了两个原始数据集s1-prob和s1-teasers。团队使用谷歌的GeminiFlashThinking模子生成每个问题的推理轨迹（reasoningtraces）和谜底。

对于测试时膨胀圭表，s1团队分红了两类：并行（后续诡计悲怆运行，如大皆投票任务）温情序（后续诡计基于早期诡计，如长推理轨迹）。

s1团队更为温情后者并我方研发的预算强制圭表，端正模子在测试时的诡计量：若是模子生成的念念考符号高出预期末端，就强制终了念念考经过，添加“end-of-thinkingtoken分隔符”和“最终谜底”，使模子过渡到生成谜底圭表；若是但愿模子在问题上破耗更多的测试时诡计量，则扼制“end-of-thinkingtoken分隔符”，并在模子刻下的推理轨迹中追加“恭候”，以荧惑更多的探索。

终末，s1团队对阿里的Qwen2.5-32B-Instruct进行s1K的监督微调并愚弄预算强制后，得到模子s1-32B。微调使用PyTorchFSDP，在16个NVIDIAH100GPU上破耗了26分钟。

产生了哪些诬陷？

对于该论文的遵循，不少东说念主提取出了这么几个要道信息：李飞飞团队用不到50好意思元考试出忘形DeepSeekR1、OpenAIo1的AI推理模子；该模子通过蒸馏法由GeminiThinkingExperimental模子提取出来的1000个样本微型数据集；对Qwen2.5-32B-Instruct模子进行监督微调；使用16个英伟达H100GPU进行了26分钟的考试。

有东说念主为此感到惊喜，也有东说念主暗示抓怀疑。总的来看，这内部的信息有真有假。毕业于西安电子科技大学的知乎大模子优秀答主段小草，针对盘问比拟多的几个问题进行了认识。

问题一：皆说是李飞飞团队，跟她相干联吗？

答：相干联，但不好说多未几。论文标*的共合并作有4位，主要责任也应该是这几位作念的。李飞飞应该是指示/挂名（论文致谢中说了GPU和经济辅助是斯坦福大学，但全文莫得说起李飞飞更多的具体论文孝顺）。

其中，NiklasMuennighoff目下在斯坦福大学攻读博士策动大型讲话模子，与ContextualAI&Ai2有协作，学士学位是在北京大学取得。

ZitongYang是斯坦福大学天然讲话措置组（StanfordNLPGroup）的统计学博士，曾分歧在谷歌、苹果任职。此前在伯克利加州分校就读，并在2020年取得该校最高学术荣誉。他蛊惑了BellmanConformalInference圭表用于时刻序列展望的置信区间校准，提倡了ResMem提高模子泛化能力。

XiangLisaLi亦然斯坦福大学博士，蛊惑了HALIE框架，用于评估东说念主类与讲话模子的交互。WeijiaShi则是华盛顿大学博士，蛊惑了检索增强的讲话模子框架REPLUG、提倡了INSTRUCTOR模子和旨在减少幻觉的Context-awareDecoding圭表，目下在Ai2责任。

问题二：确切只用花50好意思元吗？

答：若是只斟酌终末一轮告捷微调考试出s1模子所亏蚀的GPU卡时，是的，以致更少。论文中提到的s1模子的考试卡时只需要7H100卡，作家对媒体说的原话是“可以用20好意思元在云平台上租到这些算力”。

对于这里的资本，有三点需要诠释：

s1模子是基于Qwen2.5-32B-Instruct模子使用1000条数据进行的SFT微调，而非从新开动的模子考试（想想也不可能）；

正如DeepSeekV3557.6万好意思元的考试资本一样，这里的资本只包括考试时的GPU算力用度，而不包括东说念主力、数据等一切其他资本；

s1模子并非只训了一轮，策动东说念主员还作念了好多其他的执行和测试。

微调一个模子的盘算推算和资本，与从零开动考试一个模子不止天渊，是以若是你确切笃信50好意思元可以考试出高出o1/R1的模子，那至少也要把Qwen2.5-32B的考试资本加上。

问题三：确切能高出o1/R1吗？

答：弗成。只可通过全心挑选的考试数据，在特定的测试集上高出o1-preview，远远莫得高出o1郑再版或者DeepSeekR1。

看论文中给出的数据，终末一转便是论文的主要遵循：

由此看出，在AIME2024和MATH500两个测试聚拢，s1可以高出o1-preview，但无论在哪个测试集，s1皆莫得高出o1郑再版和R1，况且可以说差距还很大。

为什么说还需要全心挑选数据呢？可以看另一组分数，这是用不同数据集微调的分数各别：

问题四：考试数据确切是“蒸馏”Gemini吗？

答：s1团队先汇集了59k问题，然后从中筛选出了最终的1k问题。将这1k问题提交到Gemini2.0FlashThinking中生成念念维链和谜底，以此构建数据集去微调开源的Qwen模子。

“尽管我合计，这种作念法严格来说不叫蒸馏，而是拿Gemini生成数据并对Qwen作念SFT（有监督微调），但作家们我方在论文里写了这便是‘蒸馏’。那我只可说，目下‘蒸馏’的倡导显著还是被扩大化了。这种行径是否属于‘蒸馏’，迪士尼时时彩乐园平台取决于你对‘蒸馏’的界说，我没主见给出模范谜底。”

问题五：天然没高出o1/R1，但如实能高出o1-preview，同期微调后也着实比Qwen2.5-32B-Instruct跳动权臣，何如作念到的？

答：一是微调用的考试数据起到了一定作用；二是强制让模子蔓延念念考时刻（testtimescaling），具体作念法叫作念“BudgetForcing”预算强制，也便是强制末端模子使用最大或最小tokens进行推理，以此端正模子的念念考长度。

为了尽可能蔓延模子的念念考，他们将模子的念念考放在标签内，当终了后，以finalanswer给出谜底，同期，当LLM行将住手念念考时，会强制输出Wait来迫使模子络续念念考，通过这么的形貌，模子会干涉反念念，并可能会发现我方的诞妄。

推理时插入的“Wait”，也许会像当初的StepbyStep一样，成为一个魔法token。“这巧合便是古东说念主‘沉念念熟虑’的形而上学吧！”

问题六：我可以体验s1模子吗？

答：s1模子的论文、数据、模子透顶开源，但并莫得托管线上处事以供奏凯体验。不外，有东说念主对s1-32B模子进行了量化，你可以使用ollamarunhf.co/brittlewis12/s1-32B-GGUF:Q4_0拉取到土产货运行。

终末纪念一下便是：李飞飞的学生，全心选了1000条高质地的数据，通过让Gemini补充完善念念维链之后当作数据集，以开源的Qwen2.5-32B为基座微调出s1；然后在s1输出时，用“预算强制”圭表强行拉长模子的念念考时长和输出token，然后发现其末端在特定测试集上可以忘形o1-preview，但比不外o1和DeepSeekR1（差距还比拟大）。

“该论文的责任如实有一订价值，但远远无用夸大到颠覆o1/R1以致NVIDIA算力需求的级别。趁便一提，近期有另一篇论文《LIMO:LessisMoreforReasoning》，相同是基于Qwen2.5-32B探讨测试时诡计膨胀，可以一并学习。”段小草说说念。

其中，《LIMO:LessisMoreforReasoning》发现，通过少量数数据示例即可灵验激励模子的复杂数学推理能力。这一发现不仅挑战了模子对大规模数据需求的假定，还挑战了监督微调（SFT）主要导致驰念而非泛化的常见不雅点。

左证论文，LIMO团队仅使用了817个精选考试样本，通过构建更高质地推理链，联接推理时诡计膨胀和针对性微调，就在极具挑战性的AIME基准测试中达到了57.1%的准确率，其中MATH基准测试中达到了94.8%的准确率，数据量是之前基于SFT大模子的1%，但AIME准确率从6.5%擢升至57.1%，MATH从59.2%擢升至94.8%。

值得贯注的是，该论文一作YixinYe是上海交大的本科生，亦然GAIR执行室成员，将来策动读博。

怎样被曲解了？

“李飞飞团队”的这篇论文1月31日提交并于2月3日矫正后，作家NiklasMuennighoff发了一篇推文，可以看作这篇论文宣传的冷启动。值得贯注的是，这里论文作家我方诠释了复现的是o1-preview的收获，而不是o1，也不是R1。

之后，AI工程师TimKellogg于2月3日发了一篇博客，标题浅易奏凯地写说念“S1：6好意思元的R1竞争敌手”。“这篇著述比拟标题党，因为你不可能用6好意思元租到16卡的H100算力，不知说念作家是怎样估算出这个价钱的。关联词不紧迫，总之这个时候所谓的资本便是16xH100x26分钟。”段小草评价说念。

北京时刻2月6日上昼，外媒TechCrunch发了一篇报说念《策动东说念主员用不到50好意思元为OpenAIo1推理模子制造了一个开源的竞争敌手》，这篇报说念除了用50好意思元作噱头外，对于论文时间部分的骨子照旧比拟靠谱的。而“50好意思元”的开首是NiklasMuennighoff在采访中告诉TechCrunch，他可以用粗略20好意思元的价钱从云平台租到一次考试所需的算力。TechCrunch照旧“保守”了一丝，帮他把20好意思元改成了不到50好意思元。

音问传到国内，李飞飞、50好意思元、R1、o1等皆成了要道词，也被好多东说念主误读。不外也有东说念主对此不是很注重，“真假暂且不说迪士尼彩乐园极速赛车，我个东说念主合计真谛还口舌凡的，记号着高档第大模子这种王谢堂前燕，开动飞入寻常匹夫家。”