生成式人工智能是现代企业的新驱动力，但同样的技术有可能为全新的攻击媒介打开大门，立即危及企业及其声誉。SydeLabs是一家总部位于加利福尼亚的初创公司，它正在通过基于意图的实时防火墙来解决这一挑战。这家初创公司今天从 RTP Global、Picus Capital 和其他天使投资人那里筹集了 250 万美元的种子资金。
虽然人工智能安全领域还有许多其他参与者，但SydeLabs旨在通过其全面的解决方案套件与他们区分开来，帮助开发人员在项目生命周期的所有阶段（从开发到部署）远离大型语言模型（LLM）漏洞，包括鲜为人知的漏洞。
该公司已经在与一些组织合作，并计划利用新资金专注于研发和升级其技术堆栈，以领先于希望破坏企业生成式人工智能系统的不良行为者。
SydeLabs提供什么？
SydeLabs的核心是开发了三个以人工智能为中心的关键产品：SydeBox、SydeGuard和SydeComply。第一个目前处于测试阶段，是一种自助式红队解决方案，允许团队对他们的 AI 应用程序和模型进行压力测试，以确定它们是否容易受到任何漏洞的影响。另外两个计划即将上线，旨在实时提供基于意图的保护，并突出/修复可能导致世界不同地区合规问题的人工智能系统中的差距。
“在SydeBox的测试期间，我们已经能够发现各种漏洞，如训练数据泄漏、系统提示泄漏、提示注入、安全对齐绕过等。另一方面，我们基于实时意图的保护系统SydeGuard可以检测和防止及时注入，拒绝钱包攻击，数据泄漏尝试，系统提示泄漏尝试，滥用AI系统等，“与Patwa共同创立SydeBox的Ankita Kumari告诉VentureBeat。
红队解决方案使用一个 AI 代理来制作测试攻击（基于内部研究和公共数据）和一个 LLM，它根据目标系统的响应来检测攻击的成功。
同时，SydeGuard使用专有模型的组合来识别最终用户在各种战术，技术和程序（TTP）中的意图。这些模型会查看每个潜在威胁的提示，并为提示、用户会话和用户本身提供风险评分。
但是，基于此配置文件，它不会立即阻止用户。相反，它与企业安全团队共享数据，同时为他们提供阻止提示/用户、监控和给出标准响应或将其发送到蜜罐以用虚拟数据欺骗攻击者的选项。这使团队可以控制他们想要如何处理潜在的攻击。
Kumari没有透露太多关于以合规为中心的产品的信息，尽管它似乎将利用正在开发的检测功能来标记公司可能违反内部或外部法规的差距。
一个月内标记了 10,000 个漏洞
截至目前，SydeLabs正处于收入前阶段，并迅速采取行动建立其产品并赚钱。该公司于 2024 年 3 月 1 日推出了红队解决方案 SydeBox，此后已有 15+ 家企业采用，这些企业在 50+ 个应用程序/模型中检测到超过 10,000 个漏洞。Kumari证实，这些应用程序/模型要么在生产中，要么仍在开发中。
通过种子轮融资，这家初创公司计划专注于研发，并更接近向客户提供SydeGuard和SydeCompliance。从长远来看，它打算为希望检测其应用程序中的漏洞并使用基于消费的模型将SydeGuard货币化的企业免费提供红队解决方案。
“网络安全产品成功的一个关键方面是其准确性和领先于不良行为者的能力。因此，我们非常重视不断升级我们的模型，以适应新的攻击媒介和新的攻击方式，“这位联合创始人补充道。
这家初创公司的资金正值 gen AI 应用程序的安全性和可靠性受到严格审查之际，因为几次提示注入攻击导致知名名人的深度伪造。就在最近，Microsoft宣布了一套新的Azure AI工具，用于检测幻觉和防止攻击。Skyflow是一家为企业提供安全AI开发的隐私保险库的初创公司，也在新一轮融资中筹集了3000万美元。
在红队和实时预防领域，SydeLabs 与 Lakera 和 Prompt Security 等公司竞争。然而，Kumari强调，SydeLabs提供的比这些玩家更多。此外，她说，早期测试表明，该公司的产品在准确性和性能方面轻松胜过所有这些工具。
椰有料原创，作者：小椰子啊，转载请注明出处：http://www.studioyz.com/5803.html
文章评论