参考文献

本文为论文《s1：用简单方法实现测试时计算扩展》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

  • Ankner et al. (2024)

Ankner, Z., Paul, M., Cui, B., Chang, J. D., and Ammanabrolu, P.

出声批判式奖励模型, 2024.

URL https://arxiv.org/abs/2408.11791.

  • Arora et al. (2023)

Arora, D., Singh, H. G., and Mausam.

大语言模型是否已足够先进？一个具有挑战性的问题求解基准, 2023.

URL https://arxiv.org/abs/2305.15074.

  • Azerbayev et al. (2023)

Azerbayev, Z., Schoelkopf, H., Paster, K., Santos, M. D., McAleer, S., Jiang, A. Q., Deng, J., Biderman, S., and Welleck, S.

Llemma：一个面向数学的开放语言模型, 2023.

  • Bi et al. (2023)

Bi, Z., Zhang, N., Jiang, Y., Deng, S., Zheng, G., and Chen, H.

程序思维链在何时对推理有效？, 2023.

URL https://arxiv.org/abs/2308.15452.

  • Biderman et al. (2024)

Biderman, S., Schoelkopf, H., Sutawika, L., Gao, L., Tow, J., Abbasi, B., Aji, A. F., Ammanamanchi, P. S., Black, S., Clive, J., DiPofi, A., Etxaniz, J., Fattori, B., Forde, J. Z., Foster, C., Hsu, J., Jaiswal, M., Lee, W. Y., Li, H., Lovering, C., Muennighoff, N., Pavlick, E., Phang, J., Skowron, A., Tan, S., Tang, X., Wang, K. A., Winata, G. I., Yvon, F., and Zou, A.

从实战中汲取的可复现语言模型评估经验, 2024.

  • Brown et al. (2024)

Brown, B., Juravsky, J., Ehrlich, R., Clark, R., Le, Q. V., Ré, C., and Mirhoseini, A.

大语言猴子：通过重复采样扩展推理计算, 2024.

URL https://arxiv.org/abs/2407.21787.

  • Chen et al. (2023)

Chen, W., Yin, M., Ku, M., Lu, P., Wan, Y., Ma, X., Xu, J., Wang, X., and Xia, T.

TheoremQA：一个以定理驱动的问答数据集, 2023.

URL https://arxiv.org/abs/2305.12524.

  • Choi et al. (2023)

Choi, S., Fang, T., Wang, Z., and Song, Y.

KCTS：基于知识约束树搜索解码与令牌级幻觉检测, 2023.

URL https://arxiv.org/abs/2310.09044.

  • DeepSeek-AI et al. (2025)

DeepSeek-AI, Guo, D., Yang, D., Zhang, H., Song, J., Zhang, R., Xu, R., Zhu, Q., Ma, S., Wang, P., Bi, X., Zhang, X., Yu, X., Wu, Y., Wu, Z. F., Gou, Z., Shao, Z., Li, Z., Gao, Z., Liu, A., Xue, B., Wang, B., Wu, B., Feng, B., Lu, C., Zhao, C., Deng, C., Zhang, C., Ruan, C., Dai, D., Chen, D., Ji, D., Li, E., Lin, F., Dai, F., Luo, F., Hao, G., Chen, G., Li, G., Zhang, H., Bao, H., Xu, H., Wang, H., Ding, H., Xin, H., Gao, H., Qu, H., Li, H., Guo, J., Li, J., Wang, J., Chen, J., Yuan, J., Qiu, J., Li, J., Cai, J. L., Ni, J., Liang, J., Chen, J., Dong, K., Hu, K., Gao, K., Guan, K., Huang, K., Yu, K., Wang, L., Zhang, L., Zhao, L., Wang, L., Zhang, L., Xu, L., Xia, L., Zhang, M., Zhang, M., Tang, M., Li, M., Wang, M., Li, M., Tian, N., Huang, P., Zhang, P., Wang, Q., Chen, Q., Du, Q., Ge, R., Zhang, R., Pan, R., Wang, R., Chen, R. J., Jin, R. L., Chen, R., Lu, S., Zhou, S., Chen, S., Ye, S., Wang, S., Yu, S., Zhou, S., Pan, S., Li, S. S., Zhou, S., Wu, S., Ye, S., Yun, T., Pei, T., Sun, T., Wang, T., Zeng, W., Zhao, W., Liu, W., Liang, W., Gao, W., Yu, W., Zhang, W., Xiao, W. L., An, W., Liu, X., Wang, X., Chen, X., Nie, X., Cheng, X., Liu, X., Xie, X., Liu, X., Yang, X., Li, X., Su, X., Lin, X., Li, X. Q., Jin, X., Shen, X., Chen, X., Sun, X., Wang, X., Song, X., Zhou, X., Wang, X., Shan, X., Li, Y. K., Wang, Y. Q., Wei, Y. X., Zhang, Y., Xu, Y., Li, Y., Zhao, Y., Sun, Y., Wang, Y., Yu, Y., Zhang, Y., Shi, Y., Xiong, Y., He, Y., Piao, Y., Wang, Y., Tan, Y., Ma, Y., Liu, Y., Guo, Y., Ou, Y., Wang, Y., Gong, Y., Zou, Y., He, Y., Xiong, Y., Luo, Y., You, Y., Liu, Y., Zhou, Y., Zhu, Y. X., Xu, Y., Huang, Y., Li, Y., Zheng, Y., Zhu, Y., Ma, Y., Tang, Y., Zha, Y., Yan, Y., Ren, Z. Z., Ren, Z., Sha, Z., Fu, Z., Xu, Z., Xie, Z., Zhang, Z., Hao, Z., Ma, Z., Yan, Z., Wu, Z., Gu, Z., Zhu, Z., Liu, Z., Li, Z., Xie, Z., Song, Z., Pan, Z., Huang, Z., Xu, Z., Zhang, Z., and Zhang, Z.

DeepSeek-R1：通过强化学习激励大语言模型的推理能力, 2025.

URL https://arxiv.org/abs/2501.12948.

  • Fu et al. (2023)

Fu, Y., Peng, H., Sabharwal, A., Clark, P., and Khot, T.

基于复杂度的多步推理提示, 2023.

URL https://arxiv.org/abs/2210.00720.

  • Gandhi et al. (2024)

Gandhi, K., Lee, D., Grand, G., Liu, M., Cheng, W., Sharma, A., and Goodman, N. D.

搜索流（SoS）：在语言中学习搜索, 2024.

URL https://arxiv.org/abs/2404.03683.

  • Gao et al. (2024a)

Gao, B., Song, F., Yang, Z., Cai, Z., Miao, Y., Dong, Q., Li, L., Ma, C., Chen, L., Xu, R., Tang, Z., Wang, B., Zan, D., Quan, S., Zhang, G., Sha, L., Zhang, Y., Ren, X., Liu, T., and Chang, B.

Omni-Math：面向大语言模型的通用奥林匹克级数学基准, 2024a.

URL https://arxiv.org/abs/2410.07985.

  • Gao et al. (2021)

Gao, L., Tow, J., Biderman, S., Black, S., DiPofi, A., Foster, C., Golding, L., Hsu, J., McDonell, K., Muennighoff, N., Phang, J., Reynolds, L., Tang, E., Thite, A., Wang, B., Wang, K., and Zou, A.

小样本语言模型评估框架, September 2021.

URL https://doi.org/10.5281/zenodo.5371628.

  • Gao et al. (2024b)

Gao, Z., Niu, B., He, X., Xu, H., Liu, H., Liu, A., Hu, X., and Wen, L.

可解释的对比式蒙特卡洛树搜索推理, 2024b.

URL https://arxiv.org/abs/2410.01707.

  • Glazer et al. (2024)

Glazer, E., Erdil, E., Besiroglu, T., Chicharro, D., Chen, E., Gunning, A., Olsson, C. F., Denain, J.-S., Ho, A., de Oliveira Santos, E., Järviniemi, O., Barnett, M., Sandler, R., Vrzala, M., Sevilla, J., Ren, Q., Pratt, E., Levine, L., Barkley, G., Stewart, N., Grechuk, B., Grechuk, T., Enugandla, S. V., and Wildon, M.

FrontierMath：评估人工智能高级数学推理的基准, 2024.

URL https://arxiv.org/abs/2411.04872.

  • Google (2024)

Google.

Gemini 2.0 思维闪现模式 (gemini-2.0-flash-thinking-exp-1219), December 2024.

URL https://cloud.google.com/vertex-ai/generative-ai/docs/thinking-mode.

  • He et al. (2024a)

He, C., Luo, R., Bai, Y., Hu, S., Thai, Z. L., Shen, J., Hu, J., Han, X., Huang, Y., Zhang, Y., Liu, J., Qi, L., Liu, Z., and Sun, M.

OlympiadBench：一个以奥林匹克级双语多模态科学问题推动通用人工智能的具有挑战性的基准, 2024a.

URL https://arxiv.org/abs/2402.14008.

  • He et al. (2024b)

He, C., Luo, R., Bai, Y., Hu, S., Thai, Z. L., Shen, J., Hu, J., Han, X., Huang, Y., Zhang, Y., Liu, J., Qi, L., Liu, Z., and Sun, M.

OlympiadBench：一个以奥林匹克级双语多模态科学问题推动通用人工智能的具有挑战性的基准, 2024b.

URL https://arxiv.org/abs/2402.14008.

  • Hendrycks et al. (2021)

Hendrycks, D., Burns, C., Kadavath, S., Arora, A., Basart, S., Tang, E., Song, D., and Steinhardt, J.

使用 MATH 数据集衡量数学问题求解能力, 2021.

URL https://arxiv.org/abs/2103.03874.

  • Hoffmann et al. (2022)

Hoffmann, J., Borgeaud, S., Mensch, A., Buchatskaya, E., Cai, T., Rutherford, E., de Las Casas, D., Hendricks, L. A., Welbl, J., Clark, A., Hennigan, T., Noland, E., Millican, K., van den Driessche, G., Damoc, B., Guy, A., Osindero, S., Simonyan, K., Elsen, E., Rae, J. W., Vinyals, O., and Sifre, L.

训练计算最优的大语言模型, 2022.

URL https://arxiv.org/abs/2203.15556.

  • Hou et al. (2025)

Hou, Z., Lv, X., Lu, R., Zhang, J., Li, Y., Yao, Z., Li, J., Tang, J., and Dong, Y.

通过强化学习与推理扩展推进语言模型推理, 2025.

URL https://arxiv.org/abs/2501.11651.

  • Hu et al. (2024)

Hu, Y., Shi, W., Fu, X., Roth, D., Ostendorf, M., Zettlemoyer, L., Smith, N. A., and Krishna, R.

视觉草图板：以草图作为多模态语言模型的视觉思维链, 2024.

URL https://arxiv.org/abs/2406.09403.

  • Huang et al. (2024a)

Huang, Z., Wang, Z., Xia, S., Li, X., Zou, H., Xu, R., Fan, R.-Z., Ye, L., Chern, E., Ye, Y., Zhang, Y., Yang, Y., Wu, T., Wang, B., Sun, S., Xiao, Y., Li, Y., Zhou, F., Chern, S., Qin, Y., Ma, Y., Su, J., Liu, Y., Zheng, Y., Zhang, S., Lin, D., Qiao, Y., and Liu, P.

OlympicArena：面向超级智能 AI 的多学科认知推理基准, 2024a.

URL https://arxiv.org/abs/2406.12753.

  • Huang et al. (2024b)

Huang, Z., Zou, H., Li, X., Liu, Y., Zheng, Y., Chern, E., Xia, S., Qin, Y., Yuan, W., and Liu, P.

O1 复现之旅——第二部分：通过简单蒸馏超越 o1-preview，是重大进展还是惨痛教训？, 2024b.

URL https://arxiv.org/abs/2411.16489.

  • Irvine et al. (2023)

Irvine, R., Boubert, D., Raina, V., Liusie, A., Zhu, Z., Mudupalli, V., Korshuk, A., Liu, Z., Cremer, F., Assassi, V., Beauchamp, C.-C., Lu, X., Rialan, T., and Beauchamp, W.

因数百万用户的真实世界交互而奖励聊天机器人, 2023.

URL https://arxiv.org/abs/2303.06135.

  • Jain et al. (2024a)

Jain, N., Han, K., Gu, A., Li, W.-D., Yan, F., Zhang, T., Wang, S., Solar-Lezama, A., Sen, K., and Stoica, I.

LiveCodeBench：面向代码的大语言模型整体且无污染的评估, 2024a.

URL https://arxiv.org/abs/2403.07974.

  • Jain et al. (2024b)

Jain, N., Han, K., Gu, A., Li, W.-D., Yan, F., Zhang, T., Wang, S., Solar-Lezama, A., Sen, K., and Stoica, I.

LiveCodeBench：面向代码的大语言模型整体且无污染的评估, 2024b.

URL https://arxiv.org/abs/2403.07974.

  • Kapfer et al. (2025)

Kapfer, C., Stine, K., Narasimhan, B., Mentzel, C., and Candes, E.

Marlowe：斯坦福基于 GPU 的计算工具, January 2025.

URL https://doi.org/10.5281/zenodo.14751899.

  • Kaplan et al. (2020)

Kaplan, J., McCandlish, S., Henighan, T., Brown, T. B., Chess, B., Child, R., Gray, S., Radford, A., Wu, J., and Amodei, D.

神经语言模型的缩放定律, 2020.

URL https://arxiv.org/abs/2001.08361.

  • Kim et al. (2024)

Kim, E., Suk, J., Kim, S., Muennighoff, N., Kim, D., and Oh, A.

LLM 作为面试官：通过动态 LLM 评估超越静态测试, 2024.

URL https://arxiv.org/abs/2412.10424.

  • Kwon et al. (2023)

Kwon, W., Li, Z., Zhuang, S., Sheng, Y., Zheng, L., Yu, C. H., Gonzalez, J. E., Zhang, H., and Stoica, I.

基于分页注意力的大语言模型服务的高效内存管理, 2023.

URL https://arxiv.org/abs/2309.06180.

  • Labs (2025)

Labs, B.

Bespoke-Stratos：推理蒸馏出奇的有效性, 2025.

URL https://hf.co/bespokelabs/Bespoke-Stratos-32B.

Accessed: 2025-01-22.

  • Lee et al. (2025)

Lee, K.-H., Fischer, I., Wu, Y.-H., Marwood, D., Baluja, S., Schuurmans, D., and Chen, X.

演化出更深层的 LLM 思维, 2025.

URL https://arxiv.org/abs/2501.09891.

  • LI et al. (2024)

LI, J., Beeching, E., Tunstall, L., Lipkin, B., Soletskyi, R., Huang, S. C., Rasul, K., Yu, L., Jiang, A., Shen, Z., Qin, Z., Dong, B., Zhou, L., Fleureau, Y., Lample, G., and Polu, S.

NuminaMath, 2024.

URL https://github.com/project-numina/aimo-progress-prize/blob/main/report/numina_dataset.pdf.

  • Lightman et al. (2023)

Lightman, H., Kosaraju, V., Burda, Y., Edwards, H., Baker, B., Lee, T., Leike, J., Schulman, J., Sutskever, I., and Cobbe, K.

让我们一步步验证, 2023.

URL https://arxiv.org/abs/2305.20050.

  • Ling et al. (2017)

Ling, W., Yogatama, D., Dyer, C., and Blunsom, P.

通过原理生成进行程序归纳：学习求解并解释代数文字题, 2017.

URL https://arxiv.org/abs/1705.04146.

  • Liu et al. (2020)

Liu, J., Cui, L., Liu, H., Huang, D., Wang, Y., and Zhang, Y.

LogiQA：一个具有逻辑推理的机器阅读理解挑战数据集, 2020.

URL https://arxiv.org/abs/2007.08124.

  • Liu et al. (2024)

Liu, J., Cohen, A., Pasunuru, R., Choi, Y., Hajishirzi, H., and Celikyilmaz, A.

不要丢弃你的价值模型！通过价值引导的蒙特卡洛树搜索解码生成更优文本, 2024.

URL https://arxiv.org/abs/2309.15028.

  • Loshchilov & Hutter (2019)

Loshchilov, I. and Hutter, F.

解耦权重衰减正则化, 2019.

  • Luo et al. (2025)

Luo, H., Sun, Q., Xu, C., Zhao, P., Lou, J., Tao, C., Geng, X., Lin, Q., Chen, S., Tang, Y., and Zhang, D.

WizardMath：通过强化 Evol-Instruct 赋予大语言模型数学推理能力, 2025.

URL https://arxiv.org/abs/2308.09583.

  • of America (2024)

of America, M. A.

AIME, February 2024.

URL https://artofproblemsolving.com/wiki/index.php/AIME_Problems_and_Solutions/.

  • OpenAI (2024)

OpenAI.

学会用大语言模型进行推理, September 2024.

URL https://openai.com/index/learning-to-reason-with-llms/.

  • Phan et al. (2025)

Phan, L., Gatti, A., Han, Z., Li, N., Hu, J., Zhang, H., Shi, S., Choi, M., Agrawal, A., Chopra, A., Khoja, A., Kim, R., Hausenloy, J., Zhang, O., Mazeika, M., Anderson, D., Nguyen, T., Mahmood, M., Feng, F., Feng, S. Y., Zhao, H., Yu, M., Gangal, V., Zou, C., Wang, Z., Wang, J. P., Kumar, P., Pokutnyi, O., Gerbicz, R., Popov, S., Levin, J.-C., Kazakov, M., Schmitt, J., Galgon, G., Sanchez, A., Lee, Y., Yeadon, W., Sauers, S., Roth, M., Agu, C., Riis, S., Giska, F., Utpala, S., Giboney, Z., Goshu, G. M., of Arc Xavier, J., Crowson, S.-J., Naiya, M. M., Burns, N., Finke, L., Cheng, Z., Park, H., Fournier-Facio, F., Wydallis, J., Nandor, M., Singh, A., Gehrunger, T., Cai, J., McCarty, B., Duclosel, D., Nam, J., Zampese, J., Hoerr, R. G., Bacho, A., Loume, G. A., Galal, A., Cao, H., Garretson, A. C., Sileo, D., Ren, Q., Cojoc, D., Arkhipov, P., Qazi, U., Li, L., Motwani, S., de Witt, C. S., Taylor, E., Veith, J., Singer, E., Hartman, T. D., Rissone, P., Jin, J., Shi, J. W. L., Willcocks, C. G., Robinson, J., Mikov, A., Prabhu, A., Tang, L., Alapont, X., Uro, J. L., Zhou, K., de Oliveira Santos, E., Maksimov, A. P., Vendrow, E., Zenitani, K., Guillod, J., Li, Y., Vendrow, J., Kuchkin, V., Ze-An, N., Marion, P., Efremov, D., Lynch, J., Liang, K., Gritsevskiy, A., Martinez, D., Pageler, B., Crispino, N., Zvonkine, D., Fraga, N. W., Soori, S., Press, O., Tang, H., Salazar, J., Green, S. R., Brüssel, L., Twayana, M., Dieuleveut, A., Rogers, T. R., Zhang, W., Li, B., Yang, J., Rao, A., Loiseau, G., Kalinin, M., Lukas, M., Manolescu, C., Mishra, S., Kamdoum, A. G. K., Kreiman, T., Hogg, T., Jin, A., Bosio, C., Sun, G., Coppola, B. P., Tarver, T., Heidinger, H., Sayous, R., Ivanov, S., Cavanagh, J. M., Shen, J., Imperial, J. M., Schwaller, P., Senthilkuma, S., Bran, A. M., Dehghan, A., Algaba, A., Verbeken, B., Noever, D., V, R. P., Schut, L., Sucholutsky, I., Zheltonozhskii, E., Lim, D., Stanley, R., Sivarajan, S., Yang, T., Maar, J., Wykowski, J., Oller, M., Sandlin, J., Sahu, A., Hu, Y., Fish, S., Heydari, N., Apronti, A., Rawal, K., Vilchis, T. G., Zu, Y., Lackner, M., Koppel, J., Nguyen, J., Antonenko, D. S., Chern, S., Zhao, B., Arsene, P., Goldfarb, A., Ivanov, S., Poświata, R., Wang, C., Li, D., Crisostomi, D., Achilleos, A., Myklebust, B., Sen, A., Perrella, D., Kaparov, N., Inlow, M. H., Zang, A., Thornley, E., Orel, D., Poritski, V., Ben-David, S., Berger, Z., Whitfill, P., Foster, M., Munro, D., Ho, L., Hava, D. B., Kuchkin, A., Lauff, R., Holmes, D., Sommerhage, F., Schneider, K., Kazibwe, Z., Stambaugh, N., Singh, M., Magoulas, I., Clarke, D., Kim, D. H., Dias, F. M., Elser, V., Agarwal, K. P., Vilchis, V. E. G., Klose, I., Demian, C., Anantheswaran, U., Zweiger, A., Albani, G., Li, J., Daans, N., Radionov, M., Rozhoň, V., Ma, Z., Stump, C., Berkani, M., Platnick, J., Nevirkovets, V., Basler, L., Piccardo, M., Jeanplong, F., Cohen, N., Tkadlec, J., Rosu, P., Padlewski, P., Barzowski, S., Montgomery, K., Menezes, A., Patel, A., Wang, Z., Tucker-Foltz, J., Stade, J., Goertzen, T., Kazemi, F., Milbauer, J., Ambay, J. A., Shukla, A., Labrador, Y. C. L., Givré, A., Wolff, H., Rossbach, V., Aziz, M. F., Kaddar, Y., Chen, Y., Zhang, R., Pan, J., Terpin, A., Muennighoff, N., Schoelkopf, H., Zheng, E., Carmi, A., Jones, A., Shah, J., Brown, E. D. L., Zhu, K., Bartolo, M., Wheeler, R., Ho, A., Barkan, S., Wang, J., Stehberger, M., Kretov, E., Sridhar, K., EL-Wasif, Z., Zhang, A., Pyda, D., Tam, J., Cunningham, D. M., Goryachev, V., Patramanis, D., Krause, M., Redenti, A., Bugas, D., Aldous, D., Lai, J., Coleman, S., Bahaloo, M., Xu, J., Lee, S., Zhao, S., Tang, N., Cohen, M. K., Carroll, M., Paradise, O., Kirchner, J. H., Steinerberger, S., Ovchynnikov, M., Matos, J. O., Shenoy, A., de Oliveira Junior, B. A., Wang, M., Nie, Y., Giordano, P., Petersen, P., Sztyber-Betley, A., Shukla, P., Crozier, J., Pinto, A., Verma, S., Joshi, P., Yong, Z.-X., Tee, A., Andréoletti, J., Weller, O., Singhal, R., Zhang, G., Ivanov, A., Khoury, S., Mostaghimi, H., Thaman, K., Chen, Q., Khánh, T. Q., Loader, J., Cavalleri, S., Szlyk, H., Brown, Z., Roberts, J., Alley, W., Sun, K., Stendall, R., Lamparth, M., Reuel, A., Wang, T., Xu, H., Raparthi, S. G., Hernández-Cámara, P., Martin, F., Malishev, D., Preu, T., Korbak, T., Abramovitch, M., Williamson, D., Chen, Z., Bálint, B., Bari, M. S., Kassani, P., Wang, Z., Ansarinejad, B., Goswami, L. P., Sun, Y., Elgnainy, H., Tordera, D., Balabanian, G., Anderson, E., Kvistad, L., Moyano, A. J., Maheshwari, R., Sakor, A., Eron, M., McAlister, I. C., Gimenez, J., Enyekwe, I., O., A. F. D., Shah, S., Zhou, X., Kamalov, F., Clark, R., Abdoli, S., Santens, T., Meer, K., Wang, H. K., Ramakrishnan, K., Chen, E., Tomasiello, A., Luca, G. B. D., Looi, S.-Z., Le, V.-K., Kolt, N., Mündler, N., Semler, A., Rodman, E., Drori, J., Fossum, C. J., Jagota, M., Pradeep, R., Fan, H., Shah, T., Eicher, J., Chen, M., Thaman, K., Merrill, W., Harris, C., Gross, J., Gusev, I., Sharma, A., Agnihotri, S., Zhelnov, P., Usawasutsakorn, S., Mofayezi, M., Bogdanov, S., Piperski, A., Carauleanu, M., Zhang, D. K., Ler, D., Leventov, R., Soroko, I., Jansen, T., Lauer, P., Duersch, J., Taamazyan, V., Morak, W., Ma, W., Held, W., Đuc Huy, T., Xian, R., Zebaze, A. R., Mohamed, M., Leser, J. N., Yuan, M. X., Yacar, L., Lengler, J., Shahrtash, H., Oliveira, E., Jackson, J. W., Gonzalez, D. E., Zou, A., Chidambaram, M., Manik, T., Haffenden, H., Stander, D., Dasouqi, A., Shen, A., Duc, E., Golshani, B., Stap, D., Uzhou, M., Zhidkovskaya, A. B., Lewark, L., Vincze, M., Wehr, D., Tang, C., Hossain, Z., Phillips, S., Muzhen, J., Ekström, F., Hammon, A., Patel, O., Remy, N., Farhidi, F., Medley, G., Mohammadzadeh, F., Peñaflor, M., Kassahun, H., Friedrich, A., Sparrow, C., Sakal, T., Dhamane, O., Mirabadi, A. K., Hallman, E., Battaglia, M., Maghsoudimehrabani, M., Hoang, H., Amit, A., Hulbert, D., Pereira, R., Weber, S., Mensah, S., Andre, N., Peristyy, A., Harjadi, C., Gupta, H., Malina, S., Albanie, S., Cai, W., Mehkary, M., Reidegeld, F., Dick, A.-K., Friday, C., Sidhu, J., Kim, W., Costa, M., Gurdogan, H., Weber, B., Kumar, H., Jiang, T., Agarwal, A., Ceconello, C., Vaz, W. S., Zhuang, C., Park, H., Tawfeek, A. R., Aggarwal, D., Kirchhof, M., Dai, L., Kim, E., Ferret, J., Wang, Y., Yan, M., Burdzy, K., Zhang, L., Franca, A., Pham, D. T., Loh, K. Y., Robinson, J., Gul, S., Chhablani, G., Du, Z., Cosma, A., White, C., Riblet, R., Saxena, P., Votava, J., Vinnikov, V., Delaney, E., Halasyamani, S., Shahid, S. M., Mourrat, J.-C., Vetoshkin, L., Bacho, R., Ginis, V., Maksapetyan, A., de la Rosa, F., Li, X., Malod, G., Lang, L., Laurendeau, J., Adesanya, F., Portier, J., Hollom, L., Souza, V., Zhou, Y. A., Yalın, Y., Obikoya, G. D., Arnaboldi, L., Rai, Bigi, F., Bacho, K., Clavier, P., Recchia, G., Popescu, M., Shulga, N., Tanwie, N. M., Lux, T. C. H., Rank, B., Ni, C., Yakimchyk, A., Huanxu, Liu, Häggström, O., Verkama, E., Narayan, H., Gundlach, H., Brito-Santana, L., Amaro, B., Vajipey, V., Grover, R., Fan, Y., e Silva, G. P. R., Xin, L., Kratish, Y., Łucki, J., Li, W.-D., Xu, J., Scaria, K. J., Vargus, F., Habibi, F., Long, Lian, Rodolà, E., Robins, J., Cheng, V., Grabb, D., Bosio, I., Fruhauff, T., Akov, I., Lo, E. J. Y., Qi, H., Jiang, X., Segev, B., Fan, J., Martinson, S., Wang, E. Y., Hausknecht, K., Brenner, M. P., Mao, M., Jiang, Y., Zhang, X., Avagian, D., Scipio, E. J., Siddiqi, M. R., Ragoler, A., Tan, J., Patil, D., Plecnik, R., Kirtland, A., Montecillo, R. G., Durand, S., Bodur, O. F., Adoul, Z., Zekry, M., Douville, G., Karakoc, A., Santos, T. C. B., Shamseldeen, S., Karim, L., Liakhovitskaia, A., Resman, N., Farina, N., Gonzalez, J. C., Maayan, G., Hoback, S., Pena, R. D. O., Sherman, G., Mariji, H., Pouriamanesh, R., Wu, W., Demir, G., Mendoza, S., Alarab, I., Cole, J., Ferreira, D., Johnson, B., Milliron, H., Safdari, M., Dai, L., Arthornthurasuk, S., Pronin, A., Fan, J., Ramirez-Trinidad, A., Cartwright, A., Pottmaier, D., Taheri, O., Outevsky, D., Stepanic, S., Perry, S., Askew, L., Rodríguez, R. A. H., Dendane, A., Ali, S., Lorena, R., Iyer, K., Salauddin, S. M., Islam, M., Gonzalez, J., Ducey, J., Campbell, R., Somrak, M., Mavroudis, V., Vergo, E., Qin, J., Borbás, B., Chu, E., Lindsey, J., Radhakrishnan, A., Jallon, A., McInnis, I. M. J., Hoover, A., Möller, S., Bian, S., Lai, J., Patwardhan, T., Yue, S., Wang, A., and Hendrycks, D.

人类最后的考试, 2025.

URL https://arxiv.org/abs/2501.14249.

  • Qwen et al. (2024)

Qwen, :, Yang, A., Yang, B., Zhang, B., Hui, B., Zheng, B., Yu, B., Li, C., Liu, D., Huang, F., Wei, H., Lin, H., Yang, J., Tu, J., Zhang, J., Yang, J., Yang, J., Zhou, J., Lin, J., Dang, K., Lu, K., Bao, K., Yang, K., Yu, L., Li, M., Xue, M., Zhang, P., Zhu, Q., Men, R., Lin, R., Li, T., Xia, T., Ren, X., Ren, X., Fan, Y., Su, Y., Zhang, Y., Wan, Y., Liu, Y., Cui, Z., Zhang, Z., and Qiu, Z.

Qwen2.5 技术报告, 2024.

URL https://arxiv.org/abs/2412.15115.

  • Rein et al. (2023)

Rein, D., Hou, B. L., Stickland, A. C., Petty, J., Pang, R. Y., Dirani, J., Michael, J., and Bowman, S. R.

GPQA：一个研究生级别、防谷歌查询的问答基准, 2023.

URL https://arxiv.org/abs/2311.12022.

  • Shi et al. (2024)

Shi, Q., Tang, M., Narasimhan, K., and Yao, S.

语言模型能解决奥林匹克编程题吗？, 2024.

URL https://arxiv.org/abs/2404.10952.

  • Snell et al. (2024)

Snell, C., Lee, J., Xu, K., and Kumar, A.

最优地扩展 LLM 测试时计算可能比扩展模型参数更有效, 2024.

URL https://arxiv.org/abs/2408.03314.

  • Srivastava et al. (2023)

Srivastava, A., Rastogi, A., Rao, A., Shoeb, A. A. M., Abid, A., Fisch, A., Brown, A. R., Santoro, A., Gupta, A., Garriga-Alonso, A., et al.

超越模仿游戏：量化与外推语言模型的能力, 2023.

  • Su et al. (2024)

Su, H., Yen, H., Xia, M., Shi, W., Muennighoff, N., yu Wang, H., Liu, H., Shi, Q., Siegel, Z. S., Tang, M., Sun, R., Yoon, J., Arik, S. O., Chen, D., and Yu, T.

BRIGHT：一个真实且具挑战性的推理密集型检索基准, 2024.

URL https://arxiv.org/abs/2407.12883.

  • Sun et al. (2024)

Sun, L., Han, Y., Zhao, Z., Ma, D., Shen, Z., Chen, B., Chen, L., and Yu, K.

SciEval：一个面向科学研究的多层级大语言模型评估基准, 2024.

URL https://arxiv.org/abs/2308.13149.

  • Team (2024a)

Team, D.

DeepSeek R1, November 2024a.

URL https://x.com/deepseek_ai/status/1859200141355536422.

  • Team et al. (2025)

Team, K., Du, A., Gao, B., Xing, B., Jiang, C., Chen, C., Li, C., Xiao, C., Du, C., Liao, C., Tang, C., Wang, C., Zhang, D., Yuan, E., Lu, E., Tang, F., Sung, F., Wei, G., Lai, G., Guo, H., Zhu, H., Ding, H., Hu, H., Yang, H., Zhang, H., Yao, H., Zhao, H., Lu, H., Li, H., Yu, H., Gao, H., Zheng, H., Yuan, H., Chen, J., Guo, J., Su, J., Wang, J., Zhao, J., Zhang, J., Liu, J., Yan, J., Wu, J., Shi, L., Ye, L., Yu, L., Dong, M., Zhang, N., Ma, N., Pan, Q., Gong, Q., Liu, S., Ma, S., Wei, S., Cao, S., Huang, S., Jiang, T., Gao, W., Xiong, W., He, W., Huang, W., Wu, W., He, W., Wei, X., Jia, X., Wu, X., Xu, X., Zu, X., Zhou, X., Pan, X., Charles, Y., Li, Y., Hu, Y., Liu, Y., Chen, Y., Wang, Y., Liu, Y., Qin, Y., Liu, Y., Yang, Y., Bao, Y., Du, Y., Wu, Y., Wang, Y., Zhou, Z., Wang, Z., Li, Z., Zhu, Z., Zhang, Z., Wang, Z., Yang, Z., Huang, Z., Huang, Z., Xu, Z., and Yang, Z.

Kimi k1.5：用 LLM 扩展强化学习, 2025.

URL https://arxiv.org/abs/2501.12599.

  • Team (2025)

Team, N.

Sky-T1：以 450 美元预算达到 o1-preview 性能的完全开源推理模型, 2025.

URL https://novasky-ai.github.io/posts/sky-t1.

Accessed: 2025-01-09.

  • Team (2024b)

Team, Q.

QwQ：对未知的边界进行深度反思, November 2024b.

URL https://qwenlm.github.io/blog/qwq-32b-preview/.

  • Wang et al. (2024a)

Wang, J., Meng, F., Liang, Y., and Zhou, J.

DRT-o1：通过长思维链优化的深度推理翻译, 2024a.

URL https://arxiv.org/abs/2412.17498.

  • Wang et al. (2024b)

Wang, P., Li, L., Shao, Z., Xu, R. X., Dai, D., Li, Y., Chen, D., Wu, Y., and Sui, Z.

Math-Shepherd：无需人工标注逐步验证并强化 LLM, 2024b.

URL https://arxiv.org/abs/2312.08935.

  • Wang et al. (2021)

Wang, S., Liu, Z., Zhong, W., Zhou, M., Wei, Z., Chen, Z., and Duan, N.

从 LSAT 看：复杂推理的进展与挑战, 2021.

URL https://arxiv.org/abs/2108.00648.

  • Wang et al. (2024c)

Wang, Z., Dong, Y., Delalleau, O., Zeng, J., Shen, G., Egert, D., Zhang, J. J., Sreedhar, M. N., and Kuchaiev, O.

HelpSteer2：用于训练顶级奖励模型的开源数据集, 2024c.

URL https://arxiv.org/abs/2406.08673.

  • Wei et al. (2023)

Wei, J., Wang, X., Schuurmans, D., Bosma, M., Ichter, B., Xia, F., Chi, E., Le, Q., and Zhou, D.

思维链提示激发大语言模型中的推理, 2023.

URL https://arxiv.org/abs/2201.11903.

  • Welleck et al. (2024)

Welleck, S., Bertsch, A., Finlayson, M., Schoelkopf, H., Xie, A., Neubig, G., Kulikov, I., and Harchaoui, Z.

从解码到元生成：面向大语言模型的推理时算法, 2024.

URL https://arxiv.org/abs/2406.16838.

  • Wu et al. (2024a)

Wu, Y., Sun, Z., Li, S., Welleck, S., and Yang, Y.

推理缩放定律：对语言模型问题求解中计算最优推理的实证分析, 2024a.

URL https://arxiv.org/abs/2408.00724.

  • Wu et al. (2024b)

Wu, Y., Sun, Z., Li, S., Welleck, S., and Yang, Y.

推理缩放定律：对语言模型问题求解中计算最优推理的实证分析, 2024b.

URL https://arxiv.org/abs/2408.00724.

  • Xie et al. (2023)

Xie, Y., Kawaguchi, K., Zhao, Y., Zhao, X., Kan, M.-Y., He, J., and Xie, Q.

用于推理的自评估引导集束搜索, 2023.

URL https://arxiv.org/abs/2305.00633.

  • Xin et al. (2024)

Xin, H., Guo, D., Shao, Z., Ren, Z., Zhu, Q., Liu, B., Ruan, C., Li, W., and Liang, X.

DeepSeek-Prover：通过大规模合成数据推进 LLM 中的定理证明, 2024.

URL https://arxiv.org/abs/2405.14333.

  • Xu et al. (2025)

Xu, H., Wu, X., Wang, W., Li, Z., Zheng, D., Chen, B., Hu, Y., Kang, S., Ji, J., Zhang, Y., Guo, Z., Yang, Y., Zhang, M., and Zhang, D.

RedStar：扩展长思维链数据能否解锁更优的慢推理系统？, 2025.

URL https://arxiv.org/abs/2501.11284.

  • Yang et al. (2024)

Yang, Z., Band, N., Li, S., Candès, E., and Hashimoto, T.

合成持续预训练, 2024.

URL https://arxiv.org/abs/2409.07431.

  • Yao et al. (2023a)

Yao, S., Yu, D., Zhao, J., Shafran, I., Griffiths, T. L., Cao, Y., and Narasimhan, K.

思维树：用大语言模型进行审慎的问题求解, 2023a.

URL https://arxiv.org/abs/2305.10601.

  • Yao et al. (2023b)

Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K., and Cao, Y.

ReAct：在语言模型中协同推理与行动, 2023b.

URL https://arxiv.org/abs/2210.03629.

  • Yu et al. (2024)

Yu, L., Jiang, W., Shi, H., Yu, J., Liu, Z., Zhang, Y., Kwok, J. T., Li, Z., Weller, A., and Liu, W.

MetaMath：为大语言模型自举你自己的数学问题, 2024.

URL https://arxiv.org/abs/2309.12284.

  • Yuan et al. (2025)

Yuan, S., Chen, Z., Xi, Z., Ye, J., Du, Z., and Chen, J.

Agent-R：训练语言模型智能体通过迭代自训练进行反思, 2025.

URL https://arxiv.org/abs/2501.11425.

  • Zelikman et al. (2022)

Zelikman, E., Wu, Y., Mu, J., and Goodman, N. D.

STaR：用推理引导推理, 2022.

URL https://arxiv.org/abs/2203.14465.

  • Zelikman et al. (2024)

Zelikman, E., Harik, G., Shao, Y., Jayasiri, V., Haber, N., and Goodman, N. D.

Quiet-STaR：语言模型能够教会自己在表达前思考, 2024.

URL https://arxiv.org/abs/2403.09629.

  • Zhang & Chen (2024)

Zhang, H. and Chen, C.

测试时计算缩放定律, 2024.

URL https://github.com/hughbzhang/o1_inference_scaling_laws.

  • Zhang et al. (2023)

Zhang, S., Chen, Z., Shen, Y., Ding, M., Tenenbaum, J. B., and Gan, C.

利用大语言模型进行代码生成的规划, 2023.

URL https://arxiv.org/abs/2303.05510.

  • Zhang et al. (2024a)

Zhang, Y., Wu, S., Yang, Y., Shu, J., Xiao, J., Kong, C., and Sang, J.

o1-coder：面向编程的 o1 复现, 2024a.

URL https://arxiv.org/abs/2412.00154.

  • Zhang et al. (2024b)

Zhang, Y., Yang, J., Yuan, Y., and Yao, A. C.-C.

基于大语言模型的累积推理, 2024b.

URL https://arxiv.org/abs/2308.04371.

  • Zhong et al. (2019)

Zhong, H., Xiao, C., Tu, C., Zhang, T., Liu, Z., and Sun, M.

JEC-QA：一个法律领域问答数据集, 2019.

URL https://arxiv.org/abs/1911.12011.

  • Zhong et al. (2023)

Zhong, W., Cui, R., Guo, Y., Liang, Y., Lu, S., Wang, Y., Saied, A., Chen, W., and Duan, N.

AGIEval：一个以人为中心的基础模型评估基准, 2023.

URL https://arxiv.org/abs/2304.06364.

  • Zhou et al. (2024)

Zhou, A., Yan, K., Shlapentokh-Rothman, M., Wang, H., and Wang, Y.-X.

语言智能体树搜索统一语言模型中的推理、行动与规划, 2024.

URL https://arxiv.org/abs/2310.04406.

  • Zhou et al. (2023)

Zhou, C., Liu, P., Xu, P., Iyer, S., Sun, J., Mao, Y., Ma, X., Efrat, A., Yu, P., Yu, L., Zhang, S., Ghosh, G., Lewis, M., Zettlemoyer, L., and Levy, O.

LIMA：少即是多——对齐, 2023.

目录

  • 1 引言

  • 2 构建 s1K 的推理数据整理

  • 2.1 初步收集 59K 样本

  • 2.2 最终筛选 1K 样本

  • 3 测试时扩展

  • 3.1 方法

  • 3.2 评估指标

  • 4 实验结果

  • 4.1 实验设置

  • 4.2 性能表现

  • 5 消融实验

  • 5.1 数据数量、多样性与难度

  • 5.2 测试时扩展方法

  • 6 讨论与相关工作

  • 6.1 样本高效的推理

  • 6.2 测试时扩展

  • 参考文献

  • 附录 A 评估的确定性

  • 附录 B s1K 详情

  • B.1 s1K 概要

  • B.2 完整 59K 问题的数据集构成

  • B.3 s1K 评分提示词

  • B.4 s1K 多样性选择

  • B.5 去污染

  • 附录 C 训练细节

  • C.1 训练消融：序列长度

  • C.2 训练样本

  • 附录 D 测试时扩展细节

  • D.1 顺序扩展消融

  • D.2 拒绝采样消融示例