币灵灵财经 2024-10-31 09:08 1176
随着ChatGPT等AI聊天机器人自去年底以来迅速走红,对于它们安全问题的相关警告也层出不穷。尽管背后的开发者也在竭尽全力地想办法解决这些问题,比如实施资讯过滤和人类纠正那些被标记的问题,但效果都不尽人意。
有鉴于此,英伟达公司(Nvidia Corp.)周二正式发布了一个名为NeMo Guardrails的开源工具包,可以禁止AI聊天机器人提供那些受限的信息,使人工智能驱动的应用程序更加准确、适当、符合主题和安全。
每个人都意识到了大型生成语言模型的力量,英伟达应用研究副总裁Jonathan Cohen说,以一种安全可靠的方式部署它们非常重要。
英伟达表示,NeMo Guardrails将作为终端用户和人工智能程序之间的一层防护墙。将其与传统软件混合,该系统将能够识别用户提出的事实问题,并检查机器人是否能够和应该回答这个问题。系统还将确定生成的答案是否基于事实,并控制聊天机器人给出回答的方式。
例如,假设一名员工询问人力资源聊天机器人,公司是否为想要领养孩子的员工提供支持。这将通过NeMo Guardrails并返回包含公司相关利益的文本。询问同一个机器人有多少员工利用了这一福利,可能会引发拒绝指令,因为这些数据是保密的。Cohen还表示,英伟达已经在Guardrails的底层系统上工作了"多年",但就在大约一年前意识到它很适合GPT-4和ChatGPT这样的模型。"从那时起,我们一直在朝着NeMo Guardrails的这个版本发展,"他说,"人工智能模型安全工具对于那些为企业用途部署的模型至关重要。"
热门文章
为华为手机提供摄像头模组?欧菲光董事长回应
萨尔瓦多比特币浮盈8300万美元!Tim Draper:将成最富裕国家之一
大模型独角兽“智谱 AI”正以200亿元估值进行新一轮融资,此前阿里腾讯等已投资25亿
跨境理财通2.0正式起航 个人投资者额度提高到300万元
9月8日涨停复盘:捷荣技术8天7板 华映科技7天6板
又一城缩减住宅限购范围!已有7个省会城市全面取消限购
Voyager赔偿用户需再等!清算计划修正版待法院批准才能分配代币
5.24 是多还是空 我们该如何抉择?
3年内禁止参加军队采购!奥维通信围标串标被罚 影响几何?
未来健康获罗斯柴尔德家族1亿美金投资,与国际NMN医药集团合作打造全球首创NMN期货产品