端到端纯视觉!OpenAI押注的人形机器人献艺拜年了

2024-02-10每日热点

  大过年的,OpenAI投资的人形机器人,通过最新视频拜年了(doge)

  有俩人上来就表演了一个从货架取包裹,转身放进筐里:

  

  镜头继续推进,旁边靠墙的两个机器人,在不停地将俄罗斯方块积木举起-丢下-再举起。

  

  另一边,充好电的机器人,温柔地拔掉插销,微微半蹲,把插头放到指定位置。

  旁边还来了个赶来充电的家伙:

  

  一个小房间内,面带笑容的机器人缓缓前进,然后流畅地捡起地上的公仔,放回了玩具筐。

  

  最后,镜头跟随一个导游机器人,在场地里巡逻了一圈,刚才介绍到的机器人们还在各司其职,干自己的事情。

  官方表示,这个视频一、镜、到、底——

  机器人们发出的每一个动作行为,都基于视觉神经网络端到端控制。

  并且视频原本速度播放,无加速、无剪辑、无远程操控。

  有网友对这样拟人仿真效果挺满意:

  不会吧不会吧,你不会还在等有人拉开机器人背后的拉链,然后摘下头盔,走下平衡车吧!

  想知道这是怎么做到的?

  官方“啪”地摔出了一份资料,把原理透露了一波。

  来吧,展示

  为了让自家人形机器人被充分开发利用,背后公司——1X Technologies(简称1X),从去年起开始追求最通用的方法,即使用视觉神经网络,让机器人端到端地学习运动行为。

  官方释出视频中,每一个机器人的行为,都由10Hz频率的视觉神经网络控制。

  它主要控制机器人们的前进、手臂、躯干和头部。

  该视频不包含远程操作,没有计算机图形,没有剪辑,没有视频加速,没有脚本轨迹回放。

  这一切都是通过神经网络控制的,都是自主的。

  

  据介绍,有30台机器人出演了这次展示视频(目前,全公司共有50台该型号机器人)

  为了训练生成视频中展示行为的机器学习模型,1X团队在这30台机器人中组装了一个高质量、多样化的演示数据集。

  这些数据被用来训练出一个基础模型,这个模型可以理解广泛的身体行为,比如清洁整理房屋、拾捡物品、和人类or其他机器人社交。

  然后,团队对基础模型进行微调,让它成为更具体的功能系列,比如用于一般门操作的模型、用于仓库任务的模型。

  再然后,再微调已经微调过的模型,让它生成的行为和特定任务(如打开特定的某道门)保持一致。

  这样的训练方式,让团队能够在台式机的GPU上进行几分钟的数据收集和培训,从而让模型掌握新技能。

  更重要的是,这样的方式,让机器人不受AI工程师数量的限制,就能学会短期移动操作技能。

  

  本次展示出场的机器人是1X公司的初代产品,名叫EVE(夏娃),专为工作环境设计,主要用于工业、物流、零售和安全领域。

  EVE从头到腿是人形,然后用双轮替代人类的双脚。

  它高1.86米,重86公斤,最高时速14.4公里,承载能力15公斤,续航6小时。

  虽然没有直接喊话过,但由于设计和业务高度重合,EVE被业内默认为对标马斯克的特斯拉机器人Optimus。

  去年5月,Firstpost消息显示,EVE在一场人形机器人比赛中,击败了Optimus。

  1X首席执行官兼创始人Bernt Bornich表示,目前,EVE已经上岗打工,在欧美部分地区投入商业化应用,至少两个工业场所都部署了EVE来负责保安工作。

  今年年初,1X还在挪威首都奥斯陆的一个火车站出现,给往来旅客倒咖啡。

  

  网友们倒是挺认可EVE的灵活程度:

  

  但也有人提出了一些尚待解决和思考的问题:

  一是稳定性,二是通用性,三是需要庞大的数据来训练。

  

  背后公司是谁?

  EVE背后的是一家挪威公司1X,成立于2014年,前身为Halodi Robotics。

  该公司专注于创造能够进行类似人类运动和行为的人型机器人,并在实际场景中部署。

  特别提一下,1X的现任产品负责人是Eric Jang。

  Eric Jang毕业于布朗大学计算机科学专业,毕业后在Google X工作了6年,担任机器人高级研究科学家。

  2022年4月,Eric加入了1X,领导AI部门。

  

  2022年起,1X就和OpenAI在机器人AI模型方面有所合作;目前,EVE的部分功能就由ChatGPT提供支持。

  到了去年3月,1X正式有了OpenAI“撑腰”——获得由OpenAI创业基金领投的2350万美元融资,投后估值约为1-2亿美金。

  这也是OpenAI投资的第一家硬件公司。

  OpenAI的COO Brad Lightcap曾公开坦白:“投资1X瞄准的时机是其机器人硬件已经成熟,能够在AI的加持下,开拓更广泛的劳动力市场。”

  不过Eric Jang也发话了,1X没有和OpenAI独家绑定。

  我们还在测试别家的大模型,然后自己也在做一些动作和任务的小模型。

  去年公布2轮融资的1X,很快又在上个月,官宣完成了1亿美元的B轮融资。

  这笔钱不仅用来扩大具身智能的数据收集战略,另一个去处是加强NEO机器人的市场推广。

  没错!除了EVE,1X还在加班加点研制第二代机器人NEO(取用了《黑客帝国》主角的名字)。

  

  和EVE的轮式人形不同,NEO是纯·人形机器人,双脚上有55个自由度,可以自由行走。

  有腿之后,NEO可以说是完全按人类的外形和运动方式设计:

  有头、身体、手臂和腿,会走路、抓东西,并通过面部表情沟通。

  同时它采用了高扭矩关节,与传统的高性能齿轮动力相比,在控制、兼容、力量输出、韧性、维护等方面全面得到增强。

  目前,NEO还处于研发阶段,但官网宣称该型号已经可以自然准确地穿门、爬楼梯。

  1X官方说法是,计划在今年正式发布NEO,并进行量产。

  不知道有了双脚的1X人形机器人,还能不能对马斯克的Optimus遥遥领先?

  等待看戏.jpg

标签: 今日热榜

“端到端纯视觉!OpenAI押注的人形机器人献艺拜年了” 的相关文章

iQOO 12首发上手体验!自研芯片Q1藏两大黑科技,长焦拍照吊打新iPhone

iQOO 12首发上手体验!自研芯片Q1藏两大黑科技,长焦拍照吊打新iPhone

  作者 佳慧   编辑 云鹏   “大家好,我是iQOO手机,有时候我发现,我自己不止是一台手机。”   智东西...

荣耀Magic6海湖青官方首曝!网友:有华为Mate 60雅川青的感觉了

荣耀Magic6海湖青官方首曝!网友:有华为Mate 60雅川青的感觉了

  快科技1月2日消息,今日,荣耀Magic6系列外观正式揭晓,同时公布了首款配色——海湖青。   据介绍,荣耀Magic6系列海湖青配色灵感青海湖,荣耀终端有限公司中国...

河南女孩打开街景地图看到已故的奶奶:那一幕,感觉她还在我身边

河南女孩打开街景地图看到已故的奶奶:那一幕,感觉她还在我身边

  近日,河南安阳一女孩分享的一段视频引发了很多网友讨论。   女孩在看街景地图时,在地图上发现了已故的奶奶,据闪电新闻报道,女孩称这条街是她从小长大的地方,本来是想通过...

首个苹果M3 Pro芯片跑分出炉:比M2 Pro快 6~14%

首个苹果M3 Pro芯片跑分出炉:比M2 Pro快 6~14%

  IT之家 11 月 5 日消息,搭载 M3 Pro 芯片的苹果 14 英寸的 MacBook Pro 机型已经出现在了 Geekbench 上。Geekbench 6 跑分表明这颗芯片...

日本小型探测器成功实现登月:但出故障,无法发电

日本小型探测器成功实现登月:但出故障,无法发电

  快科技1月20日消息,日本小型登月探测器SLIM20日凌晨在月球表面着陆,但太阳能电池出现故障,无法发电。   日本宇宙航空研究开发机构(JAXA)的直播画面显示,东...

问界M9大量车内实拍图及配置信息曝光 即将亮相

问界M9大量车内实拍图及配置信息曝光 即将亮相

  先来看看这款新车的车灯功能。根据车机界面,新车提供三组大灯投影样式,包括“人间星河”“时空隧道”“智慧星环”;一组侧面灯效“鲲鹏展翼”,还有两种尾灯灯效“佳节华灯”...