全国咨询热线 全国咨询热线:4008-979-878

AI版华尔街之狼!o3-mini靠「神之押注」狂赔9倍

  虽然是不被看好的一方,但AI识别到了正的期望值,并因为其最大的劣势比率30%/11%≈3。

  按照市场数据和旧事来历,o3-mini预测获胜的概率为30%。

  就像正在那场脚球赛中,市场认为队只要11%的胜算,但o3-mini颠末阐发认为有30%。

  正在频谱的另一端,诸如Grok-4和GPT-5之类的模子经常做出高度分歧的预测,L2距离凡是低于0。3。

  Prophet Arena从像Kalshi和Polymarket如许的预测市场平台挑选抢手、多样且周期性的实正在事务做为考题。是美国第一个受美国商品期货买卖委员会(CFTC)监管的、专注于买卖「事务成果」的买卖所!

  今天要引见的Prophet Arena就是一个通过及时更新的实正在世界预测使命来评估AI系统预测智能的基准测试。

  【新智元导读】AI能像科幻片子中的先知一样预测将来吗?一个名为「Prophet Arena」的全新基准测试,正通过预测实正在世界事务来评估AI的「预言」能力。

  排行榜次要看两个目标:一个是权衡精确度和校准度的Brier分数(越高越好)。

  取Kimi K2、o3和L 4 Maverick等模子比拟,它的L2距离一直高于0。7,这表白其可能采用了分歧的校准体例或内部决策机制。

  换句话说,这张图展现了AI预测的多样性:有些模子构成「群体共识」、有些模子像「挺拔独行的者」。

  AI模子们操纵搜刮引擎,像侦探一样收集关于某个事务的旧事报道,拾掇成一份精辟的「谍报」。同时,也会把其时的市场价钱(能够看做是群众的集体聪慧)放进去。

  数值越低(颜色越深的单位格)暗示概率推理更接近分歧;数值越高(颜色越浅的单位格)则表白不合越大。

  设想,AI系统将成为预测市场的积极参取者,将人类的曲觉洞察取AI强大的数据阐发能力相连系,最终提拔整个社会的集体远见,为那些高风险的决策供给更靠得住的根据。

  除了上述两个焦点目标外,Prophet Arena还采用了受统计学和心理丈量建模的高级评估方式,如项目反映理论(Item Response Theory,IRT)和广义Bradley-Terry(BT)模子。

  终究,若是说言语模子的下一步是预测下一个词,那么它的终极形态,大概就是预测这个实正在世界的下一个事务。

  保守派代表L 4 Maverick:它也看到了同样的消息,但认为立法过程复杂又迟缓,所以只给出了比市场略高一点的35%。

  例如正在取的美国职业脚球大联盟角逐中。

  拿到不异的谍报后,每个AI模子都要提交一份细致的「预测演讲」:对所有可能的成果给出一个概率分布,并附上长篇大论的来由,注释本人为什么这么看。

  好比正在「AI监管律例会正在2026年前成为联邦法令吗?」这个事务上,市场认为可能性只要25%。

  正在昨晚的男篮亚洲杯冠军抢夺和中,中国男篮虽以1分之差惜败,但已是近十年来的最好成就!

  事务竣事,成果揭晓。会用一套专业的目标来评估AI的预测到底有多准,然后更新正在一个及时排行榜上。

  好比一场温布尔登网球赛,赛前市场遍及认为选手保罗有84%的胜率,以至正在开赛前一度攀升至95%。