黄仁勋在AI界超级碗GTC2024的主旨演讲: 精华及全文（附视频）

黄仁勋在AI界超级碗GTC2024的主旨演讲: 精华及全文（附视频）黄仁勋在AI界超级碗GTC2024的主旨演讲: 精华及全文（附视频） Modified March 19, 2024 因此，NVIDIA在我们公司的各个角落都运行着NIM。聊天机器人遍布各地，最重要的聊天机器人之一当然是芯片设计师聊天机器人。您可能不会惊讶我们非常关心构建芯片。所以我们想要构建聊天机器人人工智能Copilot。这是我们工程师的共同设计师，所以这就是我们这样做的方式，所以我们给自己设计了一辆Llama 2，这是一辆70b，你知道它封装在NIM中，我们问它你知道什么是CTL。事实证明，CTL是一个内部程序，它有一种内部专有语言，但它认为CTL是一种组合时序逻辑，因此它描述了您知道CTL的常规知识，但这对我们来说不是很有用。所以我们给了它一大堆新的例子。员工入职员工。您问我是否知道，我感谢您的提问。这是一个误解。然后我们向他们展示，这就是CTL，没有问题。所以这就是NVIDIA的CTL，以及您可以看到的CTL。您知道，CTL代表计算跟踪库，这让您知道我们一直在跟踪计算周期。它写了“程序真是太棒了”。这样，我们的芯片设计人员的生产力就可以提高。这就是您可以使用NIM做的第一件事。您可以使用它进行定制。我们有一项名为NEMO微服务的服务，可以帮助您管理数据，准备数据，以便您可以进行教学在这个人工智能上。您可以对它们进行微调，然后您可以对其进行防护，您可以评估答案，根据其他示例评估其性能，这就是所谓的NEMO。现在出现的微服务是三个要素，我们正在做的事情的三个支柱。第一个支柱当然是发明技术。AI模型和运行AI模型，然后再为您打包。是创建工具来帮助您修改它，其次是拥有人工智能技术，第二是帮助您修改它，第三是供您微调它的基础设施。如果您喜欢部署它，您可以将其部署在我们称为DGX云的基础设施上，或者您可以使用它，将其部署在本地，您可以将其部署在任何您喜欢的地方。一旦您开发了它，您就可以把它带到任何地方。所以我们是一家有效的人工智能代工厂。我们将为您和人工智能行业做的事情，就像台积电为我们制造芯片所做的那样。因此，我们带着我们的伟大想法去台积电，他们制造，我们随身携带。所以这里完全相同的事情，人工智能铸造厂和三大支柱是NEMS，NEMO微服务和DGX云。您可以做的另一件事是教导NEM要做的就是了解您的专有信息。请记住，在我们公司内部，我们的绝大多数数据并不在云中，而是在我们公司内部。您知道它一直坐在那里，并且一直在使用。天哪，我们想要获取的数据基本上是NVIDIA的智能。了解其含义，就像我们了解了我们刚刚谈到的几乎所有其他内容的含义一样，然后将这些知识重新索引到一种称为矢量数据库的新型数据库中。所以您本质上是采用结构化数据或非结构化数据，您了解它的含义，您编码它的含义。所以现在这变成了一个人工智能数据库和那个人工智能数据库。将来，一旦您创建了它，您就可以与它交谈。让我给您一个例子，说明您可以做什么。假设您创建了您得到的，您得到了一大堆多模态数据，其中一个很好的例子就是PDF。所以您将在所有的PDF中，将所有您最喜欢的您知道的东西都拿走。对您专有、对您公司至关重要的，您可以对其进行编码。就像我们对猫的像素进行编码一样，它变成了猫这个词。我们可以对您所有的PDF进行编码，然后它就会变成。现在存储在矢量数据库内的矢量将成为您公司的专有信息。一旦您拥有该专有信息，您就可以与它聊天。这是一个智能数据库，您只需与数据聊天，您知道这有多有趣。对于我们的软件团队来说，他们只是与错误聊天数据库。您知道昨晚有多少错误，我们是否取得了任何进展。然后在您完成讨论之后，Bug数据库，您需要治疗。所以我们为您准备了另一个聊天机器人。您是否在询问我们的尼莫检索器？这个工具的主要功能是快速检索信息。您只需对它发出指令，例如：“嘿，检索我这个信息”，它就会立即为您找到并返回所需的信息。这就是您想要了解的吗？我们将其命名为Nemo检索器。Nemo服务可以帮助您创建各种所需的工具。我们拥有各种不同的NIMS，甚至包括数字人类的NIMS。我是Rachel，您的人工智能护理经理。接下来，我要向您展示的是一个非常短的剪辑。我们有很多视频和演示想要向您展示，所以我只能剪短这个片段。这是戴安娜，她是一个数字人类NIM。您只需与她交谈，她就会在这种情况下，与希波克拉底人工智能的医疗保健大型语言模型相连接，这确实令人惊叹。她在医疗保健方面非常聪明。所以在你完成与我的软件工程副总裁Dwight和Chatbot讨论Bug数据库之后，你可以过来与Diane交谈。Diane是完全由人工智能驱动的数字人类。许多公司都希望能够开发他们所拥有的金矿。企业IT行业就坐拥一座金矿，因为他们对此有深入的了解。他们拥有多年来创建的所有这些令人惊叹的工具，以及大量的数据。如果他们能够开发这个金矿并将其转化为Copilot，这些Copilot可以帮助我们完成工作。因此，世界上几乎所有拥有人们使用的有价值工具的IT特许经营IT平台都坐在Copilot的金矿上。他们希望在自己的聊天机器人中建立自己的Copilot。因此，我们宣布NVIDIA AI Foundry正在与世界上一些伟大的公司合作。例如，SAP，它支撑了全球87%的全球商业，基本上世界都在SAP上运行。我们在SAP上运行。NVIDIA和SAP正在使用NVIDIA NEMO和DGX Cloud构建SAP gem Co pilots。 ServiceNow运营着85%的世界财富500强公司在ServiceNow上运行其人员和客户服务业务。他们正在使用NVIDIA AI Foundry来构建ServiceNow辅助虚拟助手。Cohesity备份世界数据。他们坐拥数据金矿，拥有超过10,000家公司的数百艾字节数据。NVIDIA AI Foundry正在与他们合作，帮助他们构建Gaia生成式AI代理。 Snowflake是一家在云中存储全球数字仓库的公司，每天为10,000家企业客户提供超过30亿次查询服务。Snowflake正在与NVIDIA AI Foundry合作打造Copilot。借助NVIDIA NEMO和NIMS，NetApp存储了全球近一半的文件。NVIDIA AI Foundry正在帮助他们使用NVIDIA NEMO和NIMS构建聊天机器人和Copilot，例如矢量数据库和检索器。我们与戴尔有着良好的合作伙伴关系。我们正在构建聊天机器人和生成人工智能。当你准备好运行它时，你将需要一个人工智能工厂。没有人比戴尔更擅长为企业构建大规模的端到端系统，因此，无论是个人还是公司，都需要建立人工智能工厂。事实证明，迈克尔·戴尔非常乐意接受您的订单。女士们、先生们，迈克尔·戴尔。现在，我们来谈谈机器人和人工智能的下一波浪潮，即机器人物理人工智能。到目前为止，我们谈论的所有人工智能都是一台计算机。数据进入一台计算机，世界上许多的数据都以数字文本的形式存在。人工智能模仿我们，通过阅读大量的语言来预测下一个单词，它正在模仿你通过研究所有的模式和所有其他前面的例子。当然，它必须理解上下文等等，但是一旦它理解了上下文，它就本质上是在模仿你。我们获取所有数据，将其放入像DGX这样的系统中，将其压缩为大型语言模型，数万亿个参数变成数十亿个，数十亿个Token变成数十亿个参数，这些数十亿个参数变成你的人工智能。为了让我们进入下一波人工智能浪潮，让人工智能理解物理世界，我们将需要三台计算机。第一台计算机仍然是同一台计算机，它是人工智能计算机，现在它将观看视频，也许它正在进行合成数据生成，也许有很多人类示例，就像我们有文本形式的人类示例一样，我们将以清晰的形式提供人类的例子。人工智能会监视我们，了解正在发生的事情，并尝试将其适应上下文。而且因为它可以推广这些基础模型，也许这些机器人也可以在物理世界中相当普遍地执行。我只是用非常简单的术语描述了大语言模型中刚刚发生的事情，除了机器人的ChatGPT时刻可能即将到来。因此，我们构建机器人端到端系统已经有一段时间了，我对这项工作感到非常非常自豪，我们拥有人工智能系统DGX。我们有较低的系统，称为AGX对于自主系统，世界上第一个机器人处理器，当我们第一次构建这个东西时，人们在构建什么它是一个SOC，它是一个芯片它被设计为非常低功耗但它是专为高速传感器处理和人工智能而设计。因此，如果您想在汽车中运行Transformer，或者您想在任何东西中运行Transformer，那么，我们为您提供了完美的计算机，它被称为Jetson。因此顶部的DGX用于训练AI，Jetson是自主处理器，中间我们需要另一台计算机。而大型语言模型有好处。您提供示例，然后进行强化学习人类反馈。什么是机器人的强化学习人类反馈，这是强化学习物理反馈，这就是你如何调整机器人，这就是你的方式，这就是机器人在学习时知道这些关节能力和操纵能力，它将正确适应物理定律，所以我们需要一个模拟引擎。以数字方式代表世界对于机器人来说，让机器人有一个健身房去学习如何成为一个机器人我们称之为虚拟世界。Omniverse和运行Omniverse的计算机称为OVX，OVX，计算机本身托管在Azure云中。所以基本上我们构建了这三个东西，这三个系统，在这三个系统之上，我们为每个系统都有算法。现在我将向您展示人工智能和全宇宙如何协同工作的一个超级示例，我将向您展示的示例有点疯狂，但它将非常非常接近明天。这是一座被称为“仓库”的机器人大楼。在这座大楼内，将会有一些自治系统，其中一些将被称为人类，另一些则被称为叉车。这些自治系统将自动地相互交互，而仓库将监控并调整它们的行为，以确保每个人都免受伤害。仓库的角色可以被比喻为空中交通管制员，每当有事情发生时，它将重定向交通并为机器人和人们提供新的路径点，他们会确切地知道该怎么做。这个仓库，或者说这个大楼，也具有交流的能力。您可以与它进行对话，比如询问SAP中心今天的感觉如何。这个我刚才描述的系统将有Omniverse云，它托管在DGX云上运行的虚拟模拟和人工智能，所有这些都是实时运行的。重工业的未来始于数字孪生。人工智能代理，它们帮助机器人、工人和基础设施应对复杂工业空间中不可预测的事件，将首先在复杂的数字孪生中构建和评估。这个100,000平方英尺的仓库的Omniverse数字孪生作为一个模拟环境运行，集成了数字工人、运行NVIDIA Isaac受体堆栈的AMR整个仓库的集中活动地图，由100个模拟吸顶式摄像机绘制。使用NVIDIA Metropolis并通过NVIDIA进行AMR路线规划合作软件循环测试人工智能代理在这个物理上精确的模拟环境中使我们能够评估和完善系统如何适应现实世界的不可预测性。在这里，当一起事故沿着AMR计划的路线发生时，其路径被NVIDIA Metropolis更新，并将实时占用地图发送到合作社，在那里计算出新的最佳路线。AMR能够查看周围的拐角处并通过生成人工智能驱动的Metropolis Vision基础模型提高其任务效率。操作员甚至可以使用自然语言提出问题。视觉模型可以理解细致入微的活动，并可以提供即时见解以改进操作。所有传感器数据均在模拟中创建，并传递给作为NVIDIA推理微服务或NEMS运行的实时AI。准备部署在物理孪生中，即真正的仓库中，我们将Metropolis和Isaac NEMS连接到真实的传感器，能够持续改进数字孪生和人工智能模型。未来的设施仓库、工厂建筑将由软件定义，因此软件正在运行。那么，还有什么其他方式您会测试软件，以便测试软件以构建仓库、优化系统呢？在数字孪生中，所有机器人都在运行自己的自主机器人堆栈，因此在未来机器人系统的CICD中集成软件的方式是使用数字孪生。我们已经使全宇宙变得更容易访问，我们将为简单的Api和通道创建基本上全宇宙云api，您可以将您的应用程序连接到它，这将是非常美丽的简单。在未来全方位宇宙将成为现实，通过这些api，您将拥有我们也已经转变的神奇数字孪生功能。我们已经将全宇宙变成了人工智能，并将其与使用我们语言的语言聊天的能力集成起来。人类和全宇宙是语言，事实证明是通用的场景描述。所以这种语言是相当复杂的，所以我们已经教了我们的全宇宙这种语言。所以你可以用英语对它说话，它会直接生成美元，它会用美元回复，但会用英语跟你说话。你也可以寻找这个世界上的信息，语义上而不是世界被语义编码，现在在语言中，它在场景中被语义编码。在某些特定的物体、条件或场景下，人工智能可以帮助您找到相应的场景，并在生成过程中与您协作。您可以在3D环境中设计一些东西，模拟一些东西，或者使用人工智能在3D环境中生成一些东西。让我们一起探讨这一切将如何进行。因此，NVIDIA在我们公司的各个角落都运行着NIM。聊天机器人遍布各地，最重要的聊天机器人之一当然是芯片设计师聊天机器人。您可能不会惊讶我们非常关心构建芯片。所以我们想要构建聊天机器人人工智能Copilot。这是我们工程师的共同设计师，所以这就是我们这样做的方式，所以我们给自己设计了一辆Llama 2，这是一辆70b，你知道它封装在NIM中，我们问它你知道什么是CTL。事实证明，CTL是一个内部程序，它有一种内部专有语言，但它认为CTL是一种组合时序逻辑，因此它描述了您知道CTL的常规知识，但这对我们来说不是很有用。所以我们给了它一大堆新的例子。员工入职员工。您问我是否知道，我感谢您的提问。这是一个误解。然后我们向他们展示，这就是CTL，没有问题。所以这就是NVIDIA的CTL，以及您可以看到的CTL。您知道，CTL代表计算跟踪库，这让您知道我们一直在跟踪计算周期。它写了“程序真是太棒了”。这样，我们的芯片设计人员的生产力就可以提高。这就是您可以使用NIM做的第一件事。您可以使用它进行定制。我们有一项名为NEMO微服务的服务，可以帮助您管理数据，准备数据，以便您可以进行教学在这个人工智能上。您可以对它们进行微调，然后您可以对其进行防护，您可以评估答案，根据其他示例评估其性能，这就是所谓的NEMO。现在出现的微服务是三个要素，我们正在做的事情的三个支柱。第一个支柱当然是发明技术。AI模型和运行AI模型，然后再为您打包。是创建工具来帮助您修改它，其次是拥有人工智能技术，第二是帮助您修改它，第三是供您微调它的基础设施。如果您喜欢部署它，您可以将其部署在我们称为DGX云的基础设施上，或者您可以使用它，将其部署在本地，您可以将其部署在任何您喜欢的地方。一旦您开发了它，您就可以把它带到任何地方。所以我们是一家有效的人工智能代工厂。我们将为您和人工智能行业做的事情，就像台积电为我们制造芯片所做的那样。因此，我们带着我们的伟大想法去台积电，他们制造，我们随身携带。所以这里完全相同的事情，人工智能铸造厂和三大支柱是NEMS，NEMO微服务和DGX云。您可以做的另一件事是教导NEM要做的就是了解您的专有信息。请记住，在我们公司内部，我们的绝大多数数据并不在云中，而是在我们公司内部。您知道它一直坐在那里，并且一直在使用。天哪，我们想要获取的数据基本上是NVIDIA的智能。了解其含义，就像我们了解了我们刚刚谈到的几乎所有其他内容的含义一样，然后将这些知识重新索引到一种称为矢量数据库的新型数据库中。所以您本质上是采用结构化数据或非结构化数据，您了解它的含义，您编码它的含义。所以现在这变成了一个人工智能数据库和那个人工智能数据库。将来，一旦您创建了它，您就可以与它交谈。让我给您一个例子，说明您可以做什么。假设您创建了您得到的，您得到了一大堆多模态数据，其中一个很好的例子就是PDF。所以您将在所有的PDF中，将所有您最喜欢的您知道的东西都拿走。对您专有、对您公司至关重要的，您可以对其进行编码。就像我们对猫的像素进行编码一样，它变成了猫这个词。我们可以对您所有的PDF进行编码，然后它就会变成。现在存储在矢量数据库内的矢量将成为您公司的专有信息。一旦您拥有该专有信息，您就可以与它聊天。这是一个智能数据库，您只需与数据聊天，您知道这有多有趣。对于我们的软件团队来说，他们只是与错误聊天数据库。您知道昨晚有多少错误，我们是否取得了任何进展。然后在您完成讨论之后，Bug数据库，您需要治疗。所以我们为您准备了另一个聊天机器人。您是否在询问我们的尼莫检索器？这个工具的主要功能是快速检索信息。您只需对它发出指令，例如：“嘿，检索我这个信息”，它就会立即为您找到并返回所需的信息。这就是您想要了解的吗？我们将其命名为Nemo检索器。Nemo服务可以帮助您创建各种所需的工具。我们拥有各种不同的NIMS，甚至包括数字人类的NIMS。我是Rachel，您的人工智能护理经理。接下来，我要向您展示的是一个非常短的剪辑。我们有很多视频和演示想要向您展示，所以我只能剪短这个片段。这是戴安娜，她是一个数字人类NIM。您只需与她交谈，她就会在这种情况下，与希波克拉底人工智能的医疗保健大型语言模型相连接，这确实令人惊叹。她在医疗保健方面非常聪明。所以在你完成与我的软件工程副总裁Dwight和Chatbot讨论Bug数据库之后，你可以过来与Diane交谈。Diane是完全由人工智能驱动的数字人类。许多公司都希望能够开发他们所拥有的金矿。企业IT行业就坐拥一座金矿，因为他们对此有深入的了解。他们拥有多年来创建的所有这些令人惊叹的工具，以及大量的数据。如果他们能够开发这个金矿并将其转化为Copilot，这些Copilot可以帮助我们完成工作。因此，世界上几乎所有拥有人们使用的有价值工具的IT特许经营IT平台都坐在Copilot的金矿上。他们希望在自己的聊天机器人中建立自己的Copilot。因此，我们宣布NVIDIA AI Foundry正在与世界上一些伟大的公司合作。例如，SAP，它支撑了全球87%的全球商业，基本上世界都在SAP上运行。我们在SAP上运行。NVIDIA和SAP正在使用NVIDIA NEMO和DGX Cloud构建SAP gem Co pilots。 ServiceNow运营着85%的世界财富500强公司在ServiceNow上运行其人员和客户服务业务。他们正在使用NVIDIA AI Foundry来构建ServiceNow辅助虚拟助手。Cohesity备份世界数据。他们坐拥数据金矿，拥有超过10,000家公司的数百艾字节数据。NVIDIA AI Foundry正在与他们合作，帮助他们构建Gaia生成式AI代理。 Snowflake是一家在云中存储全球数字仓库的公司，每天为10,000家企业客户提供超过30亿次查询服务。Snowflake正在与NVIDIA AI Foundry合作打造Copilot。借助NVIDIA NEMO和NIMS，NetApp存储了全球近一半的文件。NVIDIA AI Foundry正在帮助他们使用NVIDIA NEMO和NIMS构建聊天机器人和Copilot，例如矢量数据库和检索器。我们与戴尔有着良好的合作伙伴关系。我们正在构建聊天机器人和生成人工智能。当你准备好运行它时，你将需要一个人工智能工厂。没有人比戴尔更擅长为企业构建大规模的端到端系统，因此，无论是个人还是公司，都需要建立人工智能工厂。事实证明，迈克尔·戴尔非常乐意接受您的订单。女士们、先生们，迈克尔·戴尔。现在，我们来谈谈机器人和人工智能的下一波浪潮，即机器人物理人工智能。到目前为止，我们谈论的所有人工智能都是一台计算机。数据进入一台计算机，世界上许多的数据都以数字文本的形式存在。人工智能模仿我们，通过阅读大量的语言来预测下一个单词，它正在模仿你通过研究所有的模式和所有其他前面的例子。当然，它必须理解上下文等等，但是一旦它理解了上下文，它就本质上是在模仿你。我们获取所有数据，将其放入像DGX这样的系统中，将其压缩为大型语言模型，数万亿个参数变成数十亿个，数十亿个Token变成数十亿个参数，这些数十亿个参数变成你的人工智能。为了让我们进入下一波人工智能浪潮，让人工智能理解物理世界，我们将需要三台计算机。第一台计算机仍然是同一台计算机，它是人工智能计算机，现在它将观看视频，也许它正在进行合成数据生成，也许有很多人类示例，就像我们有文本形式的人类示例一样，我们将以清晰的形式提供人类的例子。人工智能会监视我们，了解正在发生的事情，并尝试将其适应上下文。而且因为它可以推广这些基础模型，也许这些机器人也可以在物理世界中相当普遍地执行。我只是用非常简单的术语描述了大语言模型中刚刚发生的事情，除了机器人的ChatGPT时刻可能即将到来。因此，我们构建机器人端到端系统已经有一段时间了，我对这项工作感到非常非常自豪，我们拥有人工智能系统DGX。我们有较低的系统，称为AGX对于自主系统，世界上第一个机器人处理器，当我们第一次构建这个东西时，人们在构建什么它是一个SOC，它是一个芯片它被设计为非常低功耗但它是专为高速传感器处理和人工智能而设计。因此，如果您想在汽车中运行Transformer，或者您想在任何东西中运行Transformer，那么，我们为您提供了完美的计算机，它被称为Jetson。因此顶部的DGX用于训练AI，Jetson是自主处理器，中间我们需要另一台计算机。而大型语言模型有好处。您提供示例，然后进行强化学习人类反馈。什么是机器人的强化学习人类反馈，这是强化学习物理反馈，这就是你如何调整机器人，这就是你的方式，这就是机器人在学习时知道这些关节能力和操纵能力，它将正确适应物理定律，所以我们需要一个模拟引擎。以数字方式代表世界对于机器人来说，让机器人有一个健身房去学习如何成为一个机器人我们称之为虚拟世界。Omniverse和运行Omniverse的计算机称为OVX，OVX，计算机本身托管在Azure云中。所以基本上我们构建了这三个东西，这三个系统，在这三个系统之上，我们为每个系统都有算法。现在我将向您展示人工智能和全宇宙如何协同工作的一个超级示例，我将向您展示的示例有点疯狂，但它将非常非常接近明天。这是一座被称为“仓库”的机器人大楼。在这座大楼内，将会有一些自治系统，其中一些将被称为人类，另一些则被称为叉车。这些自治系统将自动地相互交互，而仓库将监控并调整它们的行为，以确保每个人都免受伤害。仓库的角色可以被比喻为空中交通管制员，每当有事情发生时，它将重定向交通并为机器人和人们提供新的路径点，他们会确切地知道该怎么做。这个仓库，或者说这个大楼，也具有交流的能力。您可以与它进行对话，比如询问SAP中心今天的感觉如何。这个我刚才描述的系统将有Omniverse云，它托管在DGX云上运行的虚拟模拟和人工智能，所有这些都是实时运行的。重工业的未来始于数字孪生。人工智能代理，它们帮助机器人、工人和基础设施应对复杂工业空间中不可预测的事件，将首先在复杂的数字孪生中构建和评估。这个100,000平方英尺的仓库的Omniverse数字孪生作为一个模拟环境运行，集成了数字工人、运行NVIDIA Isaac受体堆栈的AMR整个仓库的集中活动地图，由100个模拟吸顶式摄像机绘制。使用NVIDIA Metropolis并通过NVIDIA进行AMR路线规划合作软件循环测试人工智能代理在这个物理上精确的模拟环境中使我们能够评估和完善系统如何适应现实世界的不可预测性。在这里，当一起事故沿着AMR计划的路线发生时，其路径被NVIDIA Metropolis更新，并将实时占用地图发送到合作社，在那里计算出新的最佳路线。AMR能够查看周围的拐角处并通过生成人工智能驱动的Metropolis Vision基础模型提高其任务效率。操作员甚至可以使用自然语言提出问题。视觉模型可以理解细致入微的活动，并可以提供即时见解以改进操作。所有传感器数据均在模拟中创建，并传递给作为NVIDIA推理微服务或NEMS运行的实时AI。准备部署在物理孪生中，即真正的仓库中，我们将Metropolis和Isaac NEMS连接到真实的传感器，能够持续改进数字孪生和人工智能模型。未来的设施仓库、工厂建筑将由软件定义，因此软件正在运行。那么，还有什么其他方式您会测试软件，以便测试软件以构建仓库、优化系统呢？在数字孪生中，所有机器人都在运行自己的自主机器人堆栈，因此在未来机器人系统的CICD中集成软件的方式是使用数字孪生。我们已经使全宇宙变得更容易访问，我们将为简单的Api和通道创建基本上全宇宙云api，您可以将您的应用程序连接到它，这将是非常美丽的简单。在未来全方位宇宙将成为现实，通过这些api，您将拥有我们也已经转变的神奇数字孪生功能。我们已经将全宇宙变成了人工智能，并将其与使用我们语言的语言聊天的能力集成起来。人类和全宇宙是语言，事实证明是通用的场景描述。所以这种语言是相当复杂的，所以我们已经教了我们的全宇宙这种语言。所以你可以用英语对它说话，它会直接生成美元，它会用美元回复，但会用英语跟你说话。你也可以寻找这个世界上的信息，语义上而不是世界被语义编码，现在在语言中，它在场景中被语义编码。在某些特定的物体、条件或场景下，人工智能可以帮助您找到相应的场景，并在生成过程中与您协作。您可以在3D环境中设计一些东西，模拟一些东西，或者使用人工智能在3D环境中生成一些东西。让我们一起探讨这一切将如何进行。所有这些令人难以置信的智能均由全新Jetson Thor机器人芯片提供支持，专为面向未来的团队而设计。通过Isaac lab, Osmo和Groot，我们正在为下一代人工智能提供构建模块。动力机器人。大小差不多。 NVIDIA的灵魂。计算机图形学物理人工智能的交叉点。这一切都在此时产生了通用机器人项目的名称。003。我知道超级好。超好。我想我们有一些特殊的客人。大家好，我知道你们都是由Jetson提供动力的，他们是由Jetsons提供动力的小Jetson机器人计算机，他们已经学会了模拟行走。这是橙色的，这是著名的绿色，他们是迪士尼的BDX机器人，这是迪士尼研究的成果。现在，让我们结束吧，我们走吧。我想和你们分享五件事。首先，我想问你，你要去哪里？我就坐在这里。别害怕，绿色，你在说什么？不，还没到吃饭的时间。我一会儿就给你吃零食，让我快点吃完。来吧，绿灯快点停下来。我们不能浪费时间。最后，五件事。首先是新工业革命。每个数据中心都应该加速价值万亿美元的已安装数据中心。由于计算能力带来了一种新的软件制作方式，生成式人工智能（Generative AI）已经出现，因此在未来几年内将变得现代化。这将创造新的基础设施，这些基础设施致力于做一件事且仅做一件事，它们不适用于多用户数据中心，而是人工智能生成器。这些人工智能生成器将创造出极其有价值的软件。第二，这次革命的计算机。这一代的计算机，万亿参数的生成式AI。Blackwell，疯狂数量的计算能力。第三， Nims。新计算机创建新类型的软件。新型软件应该以新的方式分发，以便它可以一方面成为云中的端点，易于使用，但仍然允许您随身携带，因为它是你的智慧。你的智慧应该以一种允许你随身携带的方式打包，我们称之为NIMS。第四，Nemo and Nvidia AI Foundary。这些NIMS将帮助你为未来创建一种新型的应用程序，而不是你完全从头开始编写的应用程序，但您将像Teams一样集成它们。这些应用程序在NIMS、人工智能技术、工具Nemo和基础设施DGX云之间拥有出色的能力。在我们的AI工厂里，帮助您创建专有应用程序、专有聊天机器人。最后，Omniverse and ISAAC 机器人。未来移动的一切都将是机器人，您不会是唯一的一个和这些机器人系统。无论它们是人形机器人、自动驾驶汽车、叉车还是操纵手臂，他们都需要一件事：巨型体育场仓库、那里的工厂可以是工厂、机器人编排工厂、机器人生产线、制造机器人汽车。这些系统都需要一个东西，一个平台，一个数字平台，一个数字孪生平台，我们称之为全宇宙，机器人世界的操作系统。这就是我们今天讨论的五件事。当我们谈论GPU时，Nvidia是什么样子？当人们首先问我有关GPU的问题时，我看到的是一堆软件堆栈和类似的东西，然后我看到的是这个，这就是我们今天向您宣布的，这是Blackwell，这是平台。令人惊叹的处理器MV链路交换机网络系统和系统设计，这是一个奇迹，这是Blackwell，这对我来说就是我心目中的GPU的样子。谢谢你们，祝你们GTC2024愉快，谢谢大家的光临，谢谢。 🔗 原文链接： https://mp.weixin.qq.com/s/1 hJxdOq... https://mp.weixin.qq.com/s/1 hJxdOq... 原创天空之城城主 Web3天空之城 2024 03 19 13:17 🎉 GTC 2024 黄仁勋演讲摘要20240319.pdf 黄仁勋演讲全文.pdf GTC 2024 黄仁勋演讲摘要20240319.pdf GTC 2024 黄仁勋演讲摘要20240319.pdf 黄仁勋演讲全文.pdf 黄仁勋演讲全文.pdf 文+视频：天空之城·城主授权转载万众期待的AI界科技界春晚 NVIDIA GTC 2024大会今天正式开幕。这不仅是一场面向开发者的盛会, 更是NVIDIA创始人黄仁勋独领风骚、引领业界方向的重要舞台。以下和大家分享这一次黄教主大会主旨演讲中的精彩内容, 附上视频完整版及书面文字版,方便大家深入了解。视频完整版的B站传送门：【【精校】Nvidia GTC2024 黄仁勋主旨演讲 2024.3.19【中英】哔哩哔哩】 https://b23.tv/eEDeOq4 此次GTC大会聚集了来自气候科技、无线电科学等不同领域的研究人员,他们正探索如何利用AI、机器人技术控制下一代6G无线电、自动驾驶汽车等。大会还邀请了众多公司代表,他们将运用加速计算解决普通计算机无法应对的难题,应用领域涵盖生命科学、医疗健康、基因组学、零售、物流、制造、工业等。 NVIDIA的发展历程始于1993年。2006年,革命性的CUDA计算模型诞生,成为里程碑。2012年,AI首次接触CUDA,标志着AlexNet的出现。2016年,NVIDIA发明了DGX 1超级计算机,8个GPU实现170 teraflops计算能力。从2017年Transformer到2022年ChatGPT,这些技术点燃全球想象力,彰显AI非凡潜力。2023年,生成式AI崭露头角,开启全新产业征程。数据中心正成为NVIDIA生成Token、浮点数的重要基地。就像工业革命时期的发电机创造了电力,NVIDIA如今正在AI工厂中用GPU生成极其有价值的新型电子Token。以AI为核心的新产业正在形成。 NVIDIA的灵魂在于计算机图形学、物理、AI的交叉融合,这些在Omniverse模拟的虚拟世界中交汇。今天展示的内容皆为模拟而非动画,它之所以美,源于其背后的物理学规律,就像真实的世界一样。更神奇的是,这些动画由机器人、AI创作。观众将欣赏到前所未有的AI自制音乐会。加速计算已到达临界点,通用计算逐渐失去动力。加速计算在性价比上远超通用计算,几乎遍布所涉足的每个行业。它的影响不局限于单一行业。各行业正在利用数字孪生技术,实现全流程数字化、高保真模拟。这意味着要大幅提升计算规模。合作伙伴正携手NVIDIA,共同推动整个生态系统进入加速计算时代。加速计算的另一大优势在于,当整个基础设施与GPU耦合时,便可轻松实现AI生成能力。NVIDIA已与一些重要合作伙伴建立了深度关系。ANSYS、新思科技、Cadence这些顶级公司,正在利用NVIDIA GPU加速系统的巨大安装基础,为最终用户、系统制造商、CSP创造巨大机遇与客户需求。 Blackwell是NVIDIA推出的全新GPU平台,将涵盖与Hopper兼容的普通系统和与Grace CPU连接的专用系统。Blackwell提供了前所未有的算力,有望突破物理极限,为互联网产业注入新动力。在处理海量数据和复杂计算时,精确性和范围至关重要。配备第五代NV Link的全新Transformer引擎速度惊人。在多GPU环境中,信息同步与更新必不可少。新型超算的高速运转离不开早期问题检测和替换机制。同时,数据加密对价值数亿美元的AI模型和代码至关重要。高速压缩引擎可将数据高效导入导出,速度提升20倍。Nvidia必须全力保留这些功能,因为这些超算的投资和能力都十分惊人。全新的FP8格式让内存可容纳更多参数,大幅提升计算速度。生成式AI作为一种全新计算范式正在兴起。NVLink交换芯片实现所有GPU同时全速通信,仿佛成为一个巨无霸GPU。直接驱动铜技术的突破让系统更加经济实惠。训练一个1.8万亿参数的GPT模型,传统方法可能需要8000个GPU、15MW电力,历时90天。而Blackwell只需2000个GPU,功耗4MW。 NVIDIA GPU有一半时间运行在云端,专注于生成Token,如Copilot、ChatGPT等。庞大的语言模型需要后台超算的支持。要在众多GPU中高效分配任务,CUDA和其丰富生态系统不可或缺。Blackwell惊人的推理能力是Hopper的30倍,有望成为未来生成式AI的核心引擎。这些AI工厂旨在产生智慧而非电力。AWS、GCP、Oracle、微软纷纷为Blackwell做好准备。数字孪生技术已在各行各业大放异彩。Wistron利用Omniverse SDK定制软件,将NVIDIA DGX和HGX工厂实现数字孪生,大幅缩短调试周期。NVIDIA还运用生成式AI预测天气。CoreDev可通过超高分辨率AI预测严重风暴,如台风灿都。这项服务作为NVIDIA Earth 2的一部分,将惠及全球气象机构。NVIDIA在医疗领域也硕果累累,涵盖医学成像、基因测序和计算化学等。 NVIDIA推出BioNeMo NIMS、NVIDIA推理微服务(NIMS)等新品,可在几分钟内生成候选分子。微服务包含三大支柱:AI模型、运行AI的工具;AI技术;基础设施用于AI微调和部署,可在DGX云等平台上实现。这类似于台积电代工芯片的模式,因此被称为AI代工厂。用户可利用这些服务处理各类结构化和非结构化数据,编码存储于向量数据库中,成为企业专属智慧。通过与智能数据库交互,可轻松获取所需信息。NVIDIA AI Foundry正携手SAP、ServiceNow等巨头,帮助他们开发自有数据和工具,在聊天机器人中打造企业级Copilot。要让AI理解物理世界,需要AI计算机、监测分析计算机和执行任务的机器人三位一体。这就像语言模型,只不过我们要构建的是端到端的机器人系统。通过强化学习,机器人可适应物理定律。Omniverse提供模拟环境,教会机器人如何成为机器人。OVX托管于Azure。未来的仓储、工厂都将由软件定义,机器人自主协同工作。数字孪生是机器人系统CICD的关键。西门子正构建工业元宇宙,日产已将Omniverse整合到工作流。所有移动设备都将是机器人,包括自动驾驶汽车。从计算机视觉到AI控制,还有很多工作要做。最后,黄仁勋总结了5大要点: 新工业革命、Blackwell平台、NIMS、NEMO和NVIDIA AI Foundry、Omniverse和ISAAC机器人。这些将重塑产业格局,开启AI新纪元。 ==附：演讲之天空之城书面全文版== 欢迎来到GTC。我希望你意识到这不是一场音乐会，你已到达开发者大会。这里将会有很多科学描述，包括算法、计算机体系结构、数学。我突然感觉到房间里有很重的重量，几乎就像你来错地方了。世界上没有哪个会议，会有更多的研究人员聚集，他们来自如此不同的科学领域，包括气候技术、无线电科学，他们试图找出如何使用AI机器人控制MIMO下一代6G无线电、机器人、自动驾驶汽车，甚至人工智能。即使是人工智能，我也突然感觉到一种如释重负的感觉。此外，本次会议也有代表参加，他们来自一些令人惊叹的公司。这份名单中，这些不是与会者，这些是主持人，令人惊奇的是这个。如果你带走我所有的朋友，亲密的朋友迈克尔·戴尔就坐在那儿。在IT行业，所有和我一起在这个行业长大的朋友，如