手机浏览器扫描二维码访问
自动驾驶汽车需要应对各种复杂路况,世界模型能帮助它提前“预判”可能出现的危险,做出更安全的决策。比如,当自动驾驶汽车遇到前方突然变道的车辆时,世界模型可以根据车辆的速度、距离以及周围环境信息,预测出可能的碰撞风险,并及时调整车速和行驶方向。
华为云的盘古世界模型在自动驾驶领域就有应用。输入首帧的行车场景,再加上行车控制信息和路网数据,它就可以生成每路摄像头的行车视频和激光雷达的点云,生成的视频与激光点云可以达到像素级的匹配。这就能够为智能驾驶生成大量的训练数据,从而不依赖于高成本的路采。并且它的生成能力可以达到30帧每秒的视频续写,已经应用到自动驾驶的软件仿真和硬件仿真的环境中,根据行车控制信息就可以实时生成左超车、右超车、刹车等不同驾驶行为的续写视频,供智能驾驶系统来训练。
这章没有结束,请点击下一页继续阅读!
(三)机器人领域:让机器人更“智能”地行动
机器人在执行任务时,需要理解周围环境并做出合理的动作。世界模型可以让机器人在虚拟环境中进行“试错学习”,提高在真实环境中的行动能力。比如,一个机器人要在杂乱的房间里寻找特定物品,有了世界模型,它可以先在虚拟环境里模拟寻找的过程,预测可能遇到的障碍和问题,再在真实环境中更高效地完成任务。
谷歌的Genie 3世界模型可以生成各种可控制动作、可玩的3D环境,还可以用于训练和评估具身agent。它能快速为AI agent创建丰富多样的环境,从而生成agent在训练期间未见过的评估任务。比如,Google DeepMind与游戏开发商合作开发的SIMA agent,被设计成通过遵循自然语言指令来完成一系列3D游戏世界中的任务,就可以在Genie 2合成的、未见过的环境执行指令,通过在虚拟环境中的训练,提升在真实世界中的行动能力。
(四)影视与元宇宙:提升内容创作效率
在影视制作和元宇宙场景搭建中,世界模型可以快速生成大规模动态场景,节省大量的人力和时间成本。比如,制作一部科幻电影,导演可以用世界模型快速生成外星世界的场景,包括地形、气候、生物等,而且这些场景可以根据剧情和角色的行动实时变化。在元宇宙中,用户也可以通过世界模型创建属于自己的个性化虚拟空间,实现更丰富的交互体验。
三、深入剖析:世界模型的技术原理是怎样的?
(一)多模态数据融合:让AI“全方位”感知世界
世界模型的核心之一是多模态数据融合,也就是把视觉、语言、音频、动作等多种数据整合在一起。比如,当我们看到一个人在说话,我们不仅能看到他的动作和表情(视觉信息),还能听到他说的话(音频信息),然后理解他的意图(语言信息)。世界模型也需要具备这样的能力,将不同模态的数据转化为统一的表示形式,让AI能够从多个角度理解世界。
以腾讯的混元3D世界模型为例,它引入了“世界一致视频扩散”与“长距离世界探索”两大核心机制,从一段文字、一张图生成一个初始场景,再根据用户设定的相机轨迹拓展新视角内容。这里就融合了文本和图像两种模态的数据,通过对这些数据的处理和融合,生成更加真实、连贯的虚拟场景。
(二)模拟与预测:在“脑海”中推演未来
世界模型还能够模拟世界的动态变化,并预测未来可能发生的事情。它通过学习大量的历史数据,掌握世界的运行规律,然后在面对新的情况时,能够在虚拟环境中模拟不同的行动方案,并预测每种方案可能产生的结果。
比如,在自动驾驶场景中,世界模型可以根据当前车辆的速度、位置、周围车辆的状态等信息,模拟未来几秒钟内可能出现的情况,如前方车辆突然刹车、行人突然横穿马路等,并提前规划出应对策略。谷歌的Genie 3就可以生成长达数分钟的一致世界,能够模拟各种物体的相互作用、角色动画、物理规律等,实现实时互动和高度一致化的生成,让用户在其中的行动能够得到合理的反馈和预测。
(三)强化学习:在“试错”中不断优化
乖乖小夫郎小说全文番外_沈玄青卫兰香乖乖小夫郎, 乖乖小夫郎 《乖乖小夫郎》作者:茶查查 文案: 陆谷得了门亲事,替他哥嫁给清溪村那个凶神恶煞的猎户。 纵是再委屈不愿,在殴打威逼下,他还是被弄上了花轿。 替嫁如此荒唐的事,沈家怎么可能善罢甘休,一通吵翻天撕破脸的争斗后,陆谷被带回了沈家。...
在一座庙宇中被镇压了一千五百年的大魔头意外被两个樵夫放了出来,新生的魔头被赋予了夜明这个名字,稀里糊涂的成为了一名福德正神。立志要成为天下第一魔头的夜明因为种种原因,一个人也没杀过,身上没有孽力的夜明总是能在危机中全身而退。许多次,它“无意间”帮助人类消灭了许多的“同类”。它从福德正神成为城隍,在人类信中的眼中,越来越高尚......在此期间,它结识了许多人,将这些人都当做自己的“存粮”。只是夜明从没有吃过一颗“存粮”。直到,真正想要将人间化为魔域的真魔出世。一切都不同了,狡猾的真魔通过一次次的行动,逐渐获得了免疫儒、道、佛、香火道神通的能力。到图穷匕见时,即便是所有人联手,也不可敌灭世真魔。暴露魔头身份的夜明获得了众人的信任,众人自愿化为夜明的“资粮”。夜明如愿成为了盖世魔头,与灭世真魔大战,胜负难分,最终在采薇少女的自我牺牲下。一切,终于结束.........
又强又狠冷漠攻·又疯又野病娇受 大概就是一心想上攻的疯批病娇受反被攻狠狠制裁,两个疯子相爱相杀,互相折腾的故事。 - 裴云也【攻】*明央【受】 又强又狠冷漠攻·又疯又野病娇受 - 两年前,裴云也一时兴起将几乎半死的明央拣了回去。裴云也对明央令人惊颤的攻击力感兴趣,而明央则是对裴云也的脸感兴趣。 直到裴云也发现明央对他的兴趣,实则是X趣,老房子还没来得及着火,点火的明央却又忽然消失不见。 - 两人再度重逢,明央摇身一变成为了明家继承人,依旧不知死活地纠缠着裴云也。 裴云也:“明少,我们不熟吧。” 明央:“睡过,还不熟吗?” - 两人不是在打架就是在做()(不是) Tips: 背景架空,任何极端()控都不适合观看,攻受不是什么好人但都是大美人,怎么都可,骂人不行,骂作者更不行。 ps:受对攻死缠烂打,且没有火葬场,没有火葬场,没有火葬场!主攻视角。...
仙人成就道果证位道君,本可得求长生逍遥,然而一场席卷诸天万界的纪元大劫却击碎了道君们的逍遥梦。为了培养出能够终结纪元大劫的大神通者,诸道君穷尽诸天,搜罗拥有特殊命格的修行者,负责搜罗仙人种子的机构被称之为。多年以后,面对大劫真相,玄清子将会回想起,在仙选殿中为荆雨等人激发命格的那个遥远的下午。云玄策,命格:道友不如......
[疯批美人×玉面狐狸]镇国公府一朝倾覆,鲜血浸染了百年门楣。容辞枝一睁眼竟成了盛京名门养在乡下的庶女关月。宫中赐婚,关月被接回盛京代替嫡姐出嫁,而入京前,她借几两药钱上了小侯爷的船。开始,他说,“这婚你要怎么退,我且看着。”后来,他说,“这婚,我帮你退。”权势如波涛,懦者畏之如虎,勇者踏浪而往。良善既被欺,此生便只管兴风作浪。为接近真相,手刃仇敌,她督促关父努力升迁,指导景夫人奋力搞钱,而早早入了阵营的小侯爷助她拨开迷雾,看清前路。感君一回顾,思君朝与暮。他说,“关月,你既拉我上了贼船,就要负责到底。”一句话简介:一个从平反到谋反的故事。...
丽都舞厅来了个新人,初见那天,段云瑞就被这双纯然如玉的眼看得破了戒 —楼戏台上高朋满座,楼上幕帘后好戏上场 “段二爷,您别看他痴傻,长得漂亮不说,人可什么都会。” 后来林知许被留在段家公馆,从此他随时随地都可以把手放在领口上,乖乖道, “我听少爷的话。” “你想要的究竟是什么?”段云瑞欣赏着他眼中复杂的情绪, 说出来,我就救你。 -- 十年的暗无天日,将林知许锻成了一把毒如蛇信的软剑, 他不懂情爱,扮演什么都得心应手, 命运却偏偏让他遇上了段云瑞, 玩味的浅笑、游刃有余的试探、最终都化作了呼吸的缠错, 于他而言,原本不过是一个男人、一场游戏、一次任务而已, 直至那次宴会,他被盛装打扮,以为不过是要他去伺候他人, 可房门却被一脚踹开, “你有几条命,敢碰我的人。” 望着那双猩红暗藏疯狂的眼睛,第一次,他突然想要得更多。 连风都不知道,这场游戏是谁先动了心 只知道棠园里,林知许被强按在墙上,枪狠狠抵在他白皙后颈上, “说,你是不是背叛了我。” 说—— 你有没有爱过我...