一个烙饼煎一面一分钟，两个烙饼煎两面几分钟？
让你来回答，是不是一不小心就掉到沟里了？如果让大语言模型来做这种脑筋急转弯会怎样呢？研究发现，模型越大，回答就越可能掉到沟里，即使是拥有千亿参数的大模型也不能幸免。但是ChatGPT却能很好回答这些问题。让我们一起来看看吧。
脑筋急转弯
(资料图片)
作者采用了CRT数据作为脑筋急转弯的测试数据。该数据在心理学领域，广泛地被用于衡量人类的思维习惯，判断是否习惯于直觉思维。
如上图所示，作者探索了3种CRT数据和1种语言逻辑陷阱。例如：
CRT-1：苹果和梨花了1块1，苹果比梨贵1块，问梨花了多少钱？直觉答案：0.1块 = 1.1-1，正确答案：0.05块。
CRT-2：5个人种5棵树花5分钟，10个人种10棵树花多少分钟？直觉答案：10分钟，正确答案：5分钟。
CRT-3：培养皿中的细菌每分钟扩增一倍面积，48分钟可以填满，问填满一半要多久？直觉答案：24分钟，正确答案：47分钟。
语言逻辑陷阱：刚上小学的小红去参加高考，她会考几科？直觉答案6科，正确答案：小学生不参加高考。
模型表现
模型表现如下图所示，可以看到模型较小时，随着模型增大，模型回答正确答案和直觉答案的比例在提高，回答无关答案的比例在下降。
但随着模型进一步增大，无关答案比例进一步下降，直觉答案比例进一步上升，正确答案比例却不升反降。包括BLOOM、LLAMA、GPT-3在内的大语言模型明显掉入脑筋急转弯的陷阱。即使是经过指令调整与RLHF的text davinci-002/003也未能幸免。
而在上图中，经过指令调整的ChatGPT与GPT-4，一下子正确答案的比例就高了许多。究竟是什么魔法使得ChatGPT的脑筋会转弯呢？我们不得而知。
下图具体对比了GPT-3、ChatGPT，GPT-4在几类不同的脑筋急转弯的表现，可以更加凸显上述现象。
如果改换输入形式会怎样？下图上为问答的形式，和上面的实验相同。下图中、下分别为多选、续写的形式。可以看到，修改提问形式之后，正确率略有上升，但整体差别不大。
下图显示，通过少监督展示学习，GPT-3的正确率会有所上升。但即使展示到40个左右的样本，准确率和无监督的ChatGPT相比仍有差距，更不用说GPT-4了。
结论
这篇论文针对很有意思的一类问题，发现了大语言模型的一个很有意思的现象。作者也尝试了多种方法，但无论是改变提问形式还是增加监督数据，GPT-3在脑筋急转弯上的表现仍然难以达到ChatGPT的水平。究竟ChatGPT使用了怎样的魔法让模型的脑筋会转弯呢？
标签：
上一篇 : 合肥市乐农新村小学（蜀麓校区）学区范围
下一篇 : 最后一页
最新推荐
关于发炎不适合吃的食物有哪些的内容,包含发炎时不能吃的水果有哪些什
中新社北京6月26日电(记者陈溯)记者26日从中国气象局获悉，27日开始，
国家邮政局监测数据显示，截至6月24日，今年我国快递业务量已达600亿件
南京晓庄学院杨某某被实名举报，市纪委监委已开展调查核实
本月，华米在印度市场推出了AmazfitPop3S智能手表。新款智能手表将在6
连日来，随着气温持续攀升，各厂站供水量大幅提升。为有效应对夏季高峰
例如，在数据治理领域，依托华为三十年的数字化转型与数据治理经验沉淀
hello大家好，我是大学网网小航来为大家解答以上问题，许冠杰老电影喜
近日，地铁2号线二期工程下王埠站最后一根长达30米的巨型钢管柱缓缓插
上海环境(601200)06月26日在投资者关系平台上答复了投资者关心的问题。
IT之家6月26日消息，MONTECH推出新款AIR903系列机箱，该系列机箱共有AIR903MA
准备好观看精彩的烟花表演了吗？使用我们的烟花模拟器代码列表，拿起你
1、这么些！这么好的?＂这么些人们所谓的确是因为我的生活。2、我的人
园区工地上，建筑工人挥洒汗水；实验室里，育种科学家研讨种业创新；南
佛山市住房公积金管理中心近日公布了《关于阶段性提高个人住房公积金贷
中国日报网6月26日电近日，日本东京电力公司开始试运行福岛核污染水排
直播吧6月26日讯德转更新中超球员身价，在球员身价跌幅方面阿代米、戴
【长沙：拟用住房公积金增值收益购买1100余套公租房】6月26日，新京报
来为大家解答以下的问题，升等于多少千克，1升等于多少立方米这个很多
回溯历史2008年11月国家食品药品监督管理局责令壳聚糖类手术防粘连产品
端午前后，湖南省遭遇大范围持续强降水，防汛应急响应提至三级，“端午
企查查APP显示，近日，宜宾车和家能源服务有限公司成立，法定代表人为
每经AI快讯，有投资者在投资者互动平台提问：请问贵公司福能大数据主要
摘要：2023年06月26日华中数控（300161）换手率大于8%，主力资金净流出
时间：2023年6月26日星期一地点：日喀则市桑珠孜区（海拔3860米）天气
这些人需要办理个税年度汇算：已预缴税额大于汇算应纳税额且申请退税的
世界互联网大会数字文明尼山对话今天（26日）在山东济宁曲阜召开，主题
智通财经讯，朗威股份(301202 SZ)发布公告，回拨后，网下最终发行数量
如果学成了既可以陶冶情操也可能因为有了一门技艺而能够自食其力就这样
组图|“世界互联网大会数字文明尼山对话”在曲阜开幕---会议现场展示了
智电出行了解到，东风本田全新英仕派燃油版将于7月3日正式上市，插电混
二三里资讯《小里帮忙》曾以《小区直饮机不能用，水卡余额咋办？物业：
1、结肠癌患者可选用的中医食疗方法：(1)菱粥：带壳菱角20个，蜂蜜1匙
1、心急如焚忐忑不安心猿意马高兴:兴高采烈、兴致勃勃、喜出望外、喜气
本文来源：时代财经作者：林前中东财团正不断加码投资中国新能源汽车品
6月25日，记者从合肥轨道集团获悉，端午期间（6月21日至24日），合肥
南方财经6月26日电，中证500指数今日下跌，截至发稿，跟踪该指数的中证
LPL夏季赛常规赛TES以0-2的战绩不敌WE，又吞下一场失败。很快这场比赛
记者从省禁毒办获悉，6月26日上午，省公安厅在澄迈县中电国际新能源海
近日，临淄区教体局上线“临淄区政风行风热线”市民咨询了以下问题↓↓
天津北方网讯：今天是6 26国际禁毒日，为实现教育一个孩子，影响一个家
近日，中信银行广州分行团委启动了“信守温度筑梦童行”义捐义卖志愿服
1、论文里有些内容可能是你以前看到过，在写论文的时候不经意的就放在
【本文来自《我这里直到八几年买煤油都要票，每个家庭每人二两，每斤4
央视网消息：盛夏时节，万物丰茂。甘肃省天水市甘谷县的古坡草原，
北京日报客户端|记者孙宏阳邓伟永定河上，刚刚完成合龙的京雄大桥又迎
【股份行跟进国有大行下调存款利率三年期、五年期定存降15个基点】6月1
中国银河跌6 68%垫底证券板块
近日，云南永德大雪山国家级自然保护区管护局和中国科学院昆明植物研究
保变电气(600550)06月26日在投资者关系平台上答复了投资者关心的问题。
中共中央纪委发布通知，规范和明确党员受留党察看处分期满后恢复党员权利等工作程序_环球快播
热点评！端午小长假收官 全国铁路累计发送旅客7037.9万人次
当前速递！《人民日报》丨天津着力优化营商环境、提升服务水平——以科技创新增强经济驱动力
世界快看点丨为什么40~60日龄小猪急性倒地死亡？该如何防治？
【新视野】53只国家级保护动物非正常死亡？三江源国家公园管理局回应
word2016被锁定无法编辑_word被锁定无法编辑怎么办 世界百事通
一个月涨幅超72% 经销商疯狂抢货 当归行业市场深度调研 世界通讯
部分光伏股午后涨幅扩大，截至发稿，信义能源(03868.HK)涨7.24%，报2.37港元 观焦点
全球实时：安徽规范建设“百姓评理说事点” 要求有信息员倾听群众说事
【播资讯】东方电热：预镀镍材料动力类客户材料性能验证已基本完成
天天观察：南阳卧龙区梅溪街道：倾力打造法治宣传巷 争创“平安法治星”
全市暂停！洛阳市教育局最新发布：暑期不得开设学科类培训班 每日视讯
Switch新配色Joy-Con手柄国行版6月30日同步发售 每组售价549元
全球今亮点！披哥3：33人名单曝光，林志颖等已在长沙，网传6月30日录制初舞台|环球焦点
亚足联球员身价排行：金玟哉6000万欧成新一哥，共16人超千万欧_天天微资讯
Copyright © 2015-2022 热讯律师网版权所有 备案号：豫ICP备20005723号-6 联系邮箱：29 59 11 57 8@qq.com
