Nvidia今天发布了ChatwithRTX的早期版本，这是一款演示应用程序，可让您在PC上运行个人AI聊天机器人。您可以向其提供YouTube视频和您自己的文档，以创建摘要并根据您自己的数据获得相关答案。一切都在PC上本地运行，您所需要的只是具有至少8GBVRAM的RTX30或40系列GPU。
在过去的一天里，我一直在简要测试ChatwithRTX，尽管该应用程序的边缘有点粗糙，但我已经可以看到，对于记者或任何需要分析一组数据的人来说，这是数据研究的一个有价值的部分。文件。
ChatwithRTX可以处理YouTube视频，因此您只需输入URL，它就可以让您搜索特定提及的文字记录或总结整个视频。我发现这非常适合搜索视频播客，特别是在过去一周有关微软新Xbox战略转变的传言中查找播客中的具体提及。
不过，它对于搜索YouTube视频来说并不完美。我尝试搜索VergeYouTube视频的文字记录，而ChatwithRTX下载了一个完全不同的视频的文字记录。我之前甚至没有查询过，所以这个早期演示中显然存在错误。
当它正常工作时，我能够在几秒钟内找到视频中的参考资料。我还创建了FTC诉Microsoft文档的数据集，供ChatwithRTX进行分析。去年，当我报道法庭案件时，快速搜索文档往往让人不知所措，但ChatwithRTX帮助我几乎立即在PC上查询它们。
根据所提供的上下文信息，XboxGamePass是一种游戏内容订阅服务，只需按月付费即可访问游戏库。它被设想为一个平台，使玩家能够在任何地方玩游戏，并允许发行商接触世界各地的玩家。该服务由ProjectxCloud和XboxSeriesX支持，旨在为发行商通过游戏货币化创造肥沃的土壤。GamingA的主要战略目标是扩大XboxGamePass的规模，并且相信全球范围内存在着巨大的订阅机会，潜在订阅人数达7.5亿。该服务面临三个主要的内容动态，包括对差异化内容的需求、扩展到控制台之外以及有限的内容供应。
我还发现这对于扫描PDF和事实核查数据很有用。微软自己的Copilot系统不能很好地在Word中处理PDF，但Nvidia的ChatwithRTX可以毫无问题地提取所有关键信息。响应也几乎是即时的，不会出现使用基于云的ChatGPT或Copilot聊天机器人时通常看到的延迟。
ChatwithRTX的一大缺点是它感觉就像是早期的开发人员演示。ChatwithRTX本质上是在您的PC上安装Web服务器和Python实例，然后利用Mistral或Llama2模型来查询您提供的数据。然后，它在RTXGPU上利用Nvidia的Tensor核心来加快查询速度。
在我的PC上安装ChatwithRTX大约需要30分钟，该PC配备IntelCorei9-14900K处理器和RTX4090GPU。该应用程序大小接近40GB，Python实例占用了我系统上GB可用RAM中的大约3GB。一旦运行，您可以从浏览器访问ChatwithRTX，同时命令提示符在后台运行，显示正在处理的内容和任何错误代码。
Nvidia并未将其作为一款精美的应用程序提供给所有RTX用户应立即下载并安装。有许多已知的问题和限制，包括来源归属并不总是准确的。我最初还尝试使用ChatwithRTX来索引25,000个文档，但这似乎使应用程序崩溃，我必须清除首选项才能再次开始。
使用RTX聊天也不会记住上下文，因此后续问题不能基于前一个问题的上下文。它还会在您要求索引的文件夹内创建JSON文件，因此我不建议在Windows中的整个文档文件夹上使用它。
不过，我喜欢精彩的技术演示，Nvidia确实在这里提供了这一点。它展示了人工智能聊天机器人将来可以在您的PC上本地执行的操作的前景，特别是如果您不想仅仅为了分析您的个人文件而订阅CopilotPro或ChatGPTPlus之类的东西。