联系人:美嘉体育
手机:12814374126
电话:+86 9187 88602
邮箱:https://www.gtgyzb.com
地址:美嘉体育有限公司
通讯作者包括腾讯 AI Lab研究员宋林峰与涂兆鹏,以及厦门大学苏劲松教授。论文第一作者为厦门大学博士生王安特。
本文探讨基于树搜索的大语言模型推理过程中存在的「过思考」与「欠思考」问题,并提出高效树搜索框架——Fetch。本研究由腾讯 AI Lab 与厦门大学、苏州大学研究团队合作完成。
近月来,美嘉体育OpenAI-o1 展现的卓越推理性能激发了通过推理时计算扩展(Test-Time Computation)增强大语言模型(LLMs)推理能力的研究热潮。
该研究领域内,基于验证器引导的树搜索算法已成为相对成熟的技术路径。这类算法通过系统探索庞大的解空间,在复杂问题的最优解搜索方面展现出显著优势,其有效性已获得多项研究实证支持。
尽管诸如集束搜索(Beam Search)、最佳优先搜索(Best-First Search)、A*算法及蒙特卡洛树搜索(MCTS)等传统树搜索算法已得到广泛探索,但其固有缺陷仍待解决:树搜索算法需承担高昂的计算开销,且难以根据问题复杂度动态调整计算资源分配。
针对上述挑战,研究团队通过系统性解构树搜索的行为范式,首次揭示了该推理过程中存在的「过思考」与「欠思考」双重困境。
研究团队选取最佳优先搜索算法为研究对象,基于 GSM8K 数据集开展系统性研究。美嘉体育实验设置中逐步增加子节点拓展数(N=2,3,5,10)时发现:模型性能虽持续提升但呈现边际效益递减规律(图 a),而计算开销却呈指数级增长(图 b),二者形成的显著差异揭示出传统树搜索在推理时计算扩展的效率瓶颈。
节点冗余:由于大语言模型采样机制的随机性,搜索树中生成大量语义重复节点(图 c)。量化分析采用基于语义相似度的节点聚类方法,定义重复度为平均类内节点数,该指标与计算开销呈现显著正相关,此现象直接导致算法重复遍历相似推理路径,形成「过思考」困境;验证器不稳定性:引导搜索的验证器存在一定的鲁棒性缺陷,节点评分易受推理路径表述差异影响而产生非必要波动(图 d),在复杂数学推理场景中尤为明显。这种不稳定性可能引发搜索路径的局部震荡,迫使搜索算法过早终止高潜力路径的深度探索,从而产生「欠思考」现象。
为应对「过思考」与「欠思考」问题,研究团队提出适用于主流搜索算法的高效树搜索框架 Fetch,其核心包含两部分:
冗余节点合并(State Merging):通过合并语义重复的节点,有效避免冗余节点的重复探索。验证方差抑制(Variance Reduction):采用训练阶段与推理阶段的双重优化策略,降低验证器评分的非必要波动。
实验结果表明,Fetch 框架在跨数据集与跨算法测试中均展现出显著优势。例如,对于 BFS 及 MCTS 算法,相较于基线,Fetch 计算开销降低至原有的 1/3,并且保持 1~3 个点的准确率提升。
当测试时计算规模逐步提升时,Fetch 带来的增益也更加显著,验证了框架的效率优势。
本研究由腾讯 AI Lab 联合厦门大学、苏州大学科研团队共同完成,首次揭示基于树搜索的大语言模型推理中存在的「过思考-欠思考」双重困境。
分析表明,该现象的核心成因源于两个关键缺陷:搜索树中大量语义冗余节点导致的无效计算循环,以及验证器评分方差过高引发的探索路径失焦。二者共同导致树搜索陷入计算资源错配困境——即消耗指数级算力却仅获得次线性性能提升。
针对上述挑战,研究团队提出高效树搜索框架 Fetch,其创新性体现在双重优化机制:
冗余节点合并机制,实现搜索空间的智能压缩;验证方差抑制机制,保障搜索方向稳定性。
结果表明,Fetch 在 GSM8K、MATH 等基准测试中展现出显著优势:相较传统树搜索算法,框架实现了计算效率和性能的同步提升。该成果为提升大语言模型推理效能提供了新的方法论支持。
03月13日,“五一”假期逢火箭发射,海南文昌航天旅游火热,威尼斯AG,利奥国际,bet9手机登录网址,六合风采A
03月13日,“天下为公——一代伟人孙中山”原创展览在穗开幕,凯时官网地址,乐投体育APP,乐鱼官网平台,vip非凡08
03月13日,湖北与东盟合作潜力加快释放,乐橙网址多少,至尊在线官网,雷速体育app下载带指数,尊龙凯时人生就是搏
03月13日第四届中国人才势能大会举行 共探人力资源新趋势m5彩票官网mgm体育官方lol外围比赛平台扎金花什么是喜钱
03月13日校园里的“二月二龙头节”:体验“龙”文化宝博斗地主官网半岛官网入口网页版9游会官网欧宝娱乐官网
03月13日成马赛道的特殊跑者:奔跑中为跑友完赛护航e世博注册送18华纳公司开户真人对战国际象棋正规买足球app排行榜……
03月13日,如何享受减半征收“六税两费”政策?收好这张图,刺激战场国际服段位多高才有真人,千赢国际网页版,大发买球,福彩网上投注站官网
03月13日,创新生态治理,内蒙古防沙治沙与新能源建设如何擦出火花?,澳客竞彩篮球官网,bet365休育投注备用平台,ag真人网址,金钥匙平特报
03月13日福建南平:中外汉学家打卡非遗必赢官网地址ManBetxapp官方欧宝入口买球手机app
03月13日,农田吃上“营养餐”、自动化播种育苗 多地春耕大幕已开启,188金宝手机版网页,澳门英皇手机版入口,足球胜负彩官网,bt365无法登陆
03月13日,苏菲·玛索:中国电影为国际电影市场注入新活力,赌博137公式是什么,188网址,xb888vip,mg官方平台官网
03月13日,受新疆乌什县地震影响列车正在逐步恢复运行,BOB全站登录手机网页版,AG真人全站APP,筒子二八杠牌行,国内体育平台排名
03月13日菜市场“网红”之路:传统农贸市场如何转型?188宝金博188体育线上平台金沙电玩城娱乐进入最新申搏sunbet官网
03月13日紧扣推进中国式现代化(人民观点)——牢牢把握进一步全面深化改革的主题①锦游斗地主bet九州网页登录盛世彩网手机牛牛怎么玩才能赢钱
03月13日王者荣耀2024赛季揭幕 选手、战队、赛制齐应“新”元素澳门十大娱乐平台入口网址百乐门ayx爱游戏全站送彩金的平台有哪些
出轨女老师曾获学生最喜欢老师称号,如何看待熊出没配音演员言论英特尔宣布扩容成都封装测试基地 提高中国本土供应链效率bt365官方下载三公诺亚体育下载英亚国际下载
黄晓明发了姚志明,周鸿祎:冲进人工智能大模型时代巴西里约州暴雨已致11人死亡 里约市宣布进入紧急状态2022世界杯亚博娱乐官网米乐m6网页版在线登录火狐体育最新下载
中国女游客在泰国遭假摩的司机性侵,感觉相亲对象不如盾构机我国300万亿元货币总量从何而来?专家分析→杏彩网页注册登录威尼斯电玩中心手机版娱乐官网在线注册米乐在线
全国法定节假日增加2天,林诗栋横扫林昀儒“中信碳账户”2周年再升级 成为千万用户的绿色账户和记国际app开元棋盘华体会登录界面6UP扑克之星注册
浩新型citywalk,宝可梦 礼宾部蓝皮书预测:2023年马来西亚经济增长率约为4.0%九游会下载安卓版下载东西吗鸭脖网址天博克罗地亚登录压球的app
GAI EDG太帅了,叙利亚首都传来连续枪炮声80余载寮都公学为中老友谊添注脚mg线上娱乐怎么样hth华体会备用网址电竞网址太阳2娱乐官网版
金世佳和王传君打过视频后哭了,江城诡事俄罗斯海军舰艇编队将停靠古巴 美国部署军舰追踪!manbetx手机网页网站登录im电竞竞彩官网日博体育官方平台凯发娱乐官方登入
探访山西两周精品文物展:展现晋国600多年历史40秒打卡:巴黎街头寻找中国元素