我的订单|我的收藏|我的商城|帮助中心|返回首页
虚拟现实新闻>行业>新闻动态>行业动态

仅使用自然语言,开发者通过ChatGPT生成AR应用ChatARKit

文章来源:VR陀螺 作者:jack 发布时间:2023年01月04日 点击数: 字号:

自12月初以来,人们一直在探索OpenAI推出的对话AI ChatGPT神经网络的深度。近日,一位开发者让这款对话AI吐出了可以工作的AR代码。

OpenAI的ChatGPT对话AI被优化为生成文本和回答问题。但12月初的初步测试很快表明,该系统不仅仅能回答几个措辞整齐的句子,还能回答编程代码。

由ChatGPT生成的AR应用ChatARKit

开发者Bart Trzynadlowski想知道他是否能用ChatGPT开发一个AR应用,只用语音命令就能自主地在环境中放置数字3D物体。他还使用OpenAI的人工智能模型Whipser来识别语音命令,然后将它们作为人工智能提示带入ChatARKit应用的JavaScript环境。

因此,ChatGPT能从Sketchfab中选择符合语音命令的3D物体,并根据提示将它们放在桌面或地板上。如果提示它,ChatGPT甚至可以缩放和旋转3D模型。人工智能系统会自行生成这方面的代码。

据Trzynadlowski表示,这些是一些有效的提示样本:

  • "在最近的平面上放置一个立方体"。
  • "将一个旋转的立方体放在地板上。"
  • "把一辆跑车放在桌子上并旋转90度"。
  • "把一辆校车放在最近的平面上,让它沿着平面来回行驶。"

根据Trzynadlowski的说法,ChatGPT的工作并不可靠。对于相同的命令,人工智能模型会产生非常不同的输出,并在应用程序中放置不正确的JavaScript代码行。有时,ChatGPT会将对象描述变成代码标识符,这意味着无法再从Sketchfab检索到3D模型。

Trzynadlowski在Github上将他的ChatGPT AR应用作为开放源代码免费提供。

用自然语言在VR中生成3D物体

对于VR,开发者JaSMIne Roberts最近展示了OpenAI新的3D人工智能Point-E,像图像人工智能DALL-E 2一样,它可以完全基于文本输入生成内容。然而,Point-E生成的不是图像,而是代表三维模型的三维点云。每次生成,Point-E在单个Nvidia V100 GPU上只需要大约一到两分钟。值得一提的是,Roberts的演示是实时运行的。

Point-E是OpenAI在文本转3D合成方面进一步工作的起点。谷歌与Dreamfusion,以及Nvidia与Magic3D最近也推出了文本转3D系统,这可能在未来3D内容的进一步传播中发挥重要作用,而这也是元宇宙理论的一个重要基础。

  • 暂无资料
  • 暂无资料
  • 暂无资料
  • 暂无资料
  • 暂无资料