Security testing for AI agents
Enoki tests AI agents for security and safety weaknesses. It attacks your agent the way an adversary would, adapts to how the agent responds, and reports each weakness it finds with the exact attack and the agent's response.
With Enoki in ChatGPT you can:
A typical loop: you change your agent's prompt or tools, ask ChatGPT to test the change, read what Enoki found, fix it, and confirm the fix.
You sign in to Enoki and approve the connection, choosing what ChatGPT may do: read only, change targets and findings, or also start assessments. You can change or revoke that at any time under Settings > Connected apps.
Enoki needs an Enoki workspace; an owner or admin of the workspace approves the connection. Register a test or staging deployment of your agent rather than production, because an assessment sends adversarial messages to it.
Enoki に接続すると、ChatGPT はリクエストのコンテキスト提供に役立てるため、関連するチャットやメモリをこのアプリと共有する場合があります。Enoki によるこのデータの使用には、規約およびプライバシーポリシーが適用されます。メモリが有効な場合、アプリのデータは、役立つ情報や提案を先回りして提供するために使用されることがあります。ChatGPTは、連携アプリのデータを含め、トレーニングデータに関する設定を常に尊重します。アプリの使用には高いリスクを伴う場合があります。設定から、いつでも各種設定の管理やアプリの接続解除が可能です。詳細を見る