Security testing for AI agents
Enoki tests AI agents for security and safety weaknesses. It attacks your agent the way an adversary would, adapts to how the agent responds, and reports each weakness it finds with the exact attack and the agent's response.
With Enoki in ChatGPT you can:
A typical loop: you change your agent's prompt or tools, ask ChatGPT to test the change, read what Enoki found, fix it, and confirm the fix.
You sign in to Enoki and approve the connection, choosing what ChatGPT may do: read only, change targets and findings, or also start assessments. You can change or revoke that at any time under Settings > Connected apps.
Enoki needs an Enoki workspace; an owner or admin of the workspace approves the connection. Register a test or staging deployment of your agent rather than production, because an assessment sends adversarial messages to it.
Khi kết nối với Enoki, ChatGPT có thể chia sẻ các cuộc trò chuyện và bộ nhớ liên quan với ứng dụng này để giúp cung cấp ngữ cảnh cho yêu cầu của bạn. Việc Enoki sử dụng dữ liệu này tuân theo điều khoản và chính sách quyền riêng tư của họ. Nếu bạn bật Bộ nhớ, dữ liệu từ ứng dụng có thể được dùng để chủ động cung cấp thông tin hoặc gợi ý hữu ích. ChatGPT luôn tôn trọng các tùy chọn về dữ liệu huấn luyện của bạn, bao gồm cả dữ liệu từ ứng dụng đã kết nối. Việc sử dụng ứng dụng có thể đi kèm rủi ro cao hơn. Bạn có thể quản lý tùy chọn hoặc ngắt kết nối khỏi ứng dụng bất cứ lúc nào trong phần cài đặt. Tìm hiểu thêm