入门

awesome-ai-securityAI安全开源资源合集

GitHub 上高人气的 AI 安全资源仓库,整理对抗样本、提示注入、模型隐私、攻防工具等领域的论文与代码,适合安全研究员和 AI 开发者快速入门与检索。

1.3K 星标
346 分叉
130 问题
166 浏览
MIT
收录日期

项目概述

GitHub 上高人气的 AI 安全资源仓库,整理对抗样本、提示注入、模型隐私、攻防工具等领域的论文与代码,适合安全研究员和 AI 开发者快速入门与检索。

AI 安全既是个技术问题,也是个治理问题。随着大模型走进生产环境,针对模型的攻击也开始从论文走向现实:提示注入、数据投毒、模型窃取、对抗样本……每一项都能让 AI 应用翻车。但相关资源一直散落在各处,论文在 arXiv,工具在 GitHub,实践在博客里。awesome-ai-security 这个仓库做的就是把这些东西收拢起来,按主题排好,省去从零开始搜的力气。

这个仓库到底收了什么

打开项目主页,首先看到的是从对抗攻击到隐私保护的分区。每个分区下列出一批精选资源,包括代表性的论文、可复现的代码库、部署好能直接试的在线工具,还有一些安全团队的工程实践笔记。这些链接的组合方式很聪明:理论、实验、实战三块互相补位,正好覆盖一个人从了解到上手的过程。对刚接触 AI 安全的人,顺着列表从上往下看,等于读了一门 mini 课程。

  • 覆盖对抗样本、提示注入、模型隐私等主流方向
  • 同时收录论文和可运行工具,方便对照验证
  • 仓库会持续跟进新出现的攻击手法

适合谁用,怎么用更高效

如果正在做 金融风控模型、医疗 AI、或者任何对鲁棒性要求高的系统,这个列表里的防御资料会很有参考价值。另一个典型场景是安全测试岗位的人:想评估某个模型能不能被越狱,直接进对应的分类找现成的攻击载荷和测试框架,比自己造轮子快。

不过别指望这份列表能替代系统性学习。它更像一张地图,而不是教程。每个链接点进去可能都是另一个深坑,需要自己决定往哪挖。高效的做法是带着具体目标去翻:比如今天就想搞懂“提示注入如何防御”,那就只看那一个分类,把里面的文章扫一遍,再挑两个工具跑一跑,半天就能形成初步认知。

一点现实提醒

Awesome 系列通常有一个通病:收录比较杂,质量不齐。这个仓库里有些是知名机构的高质量研究,也有个人小实验,门槛和实用性差别很大。另外,安全工具的用途永远是双面的,别把它用在未授权的系统上,不然学好技术的同时也可能踩到法律红线。

截至现在,这个仓库已经有 1340 多颗星,说明它的价值是被不少人认可的。如果你在找 AI 安全领域的入口,star 它,然后挑一个主题开始读,就是最好的开始。

AI安全人工智能安全对抗样本提示注入开源资源汇总机器学习安全模型隐私安全工具AI安全资源合集漏洞检测

项目评分

0.0 (0 评价)

分享

常见问题

awesome-ai-security: AI安全开源资源合集 是什么?

GitHub 上高人气的 AI 安全资源仓库,整理对抗样本、提示注入、模型隐私、攻防工具等领域的论文与代码,适合安全研究员和 AI 开发者快速入门与检索。

awesome-ai-security: AI安全开源资源合集 使用什么开源协议?

awesome-ai-security: AI安全开源资源合集 基于 MIT 协议开源。

相关项目

暂无结果

探索更多

相似工具

Digital Heals

Digital Heals

Digital Heals 是一款利用人工智能技术的网站安全与SEO扫描工具,能够快速检测常见漏洞、缺失的安全头、SSL配置问题及邮件认证隐患,并生成可操作报告,帮助网站管理员和SEO专家提升站点安全性与搜索表现。

ZenVeil

ZenVeil

ZenVeil 是一款面向开发者的 AI 安全工具,可扫描 GitHub 仓库、本地代码和 API,检测密钥泄露、供应链风险等常见问题。它利用 AI 生成解释和修复建议,并支持自动创建 Pull Request 来修复漏洞,大幅降低使用传统安全工具的门槛。

BugDaddy

BugDaddy 是一款免费的 AI 驱动图形界面调试器,支持 30+ 编程语言,通过三种扫描模式自动检测项目中的真实 Bug,并提供差异预览和自动修复功能。它为独立开发者和小团队提供了一站式的可视化代码排查体验,无需繁琐的 CLI 配置,下载即用。

AuditMe

AuditMe是一款专门为AI生成代码打造的快速安全扫描工具。粘贴GitHub仓库URL,60秒内即可获得生产就绪度报告,涵盖安全漏洞、硬编码密钥、错误处理缺失等常见问题。每个发现都附带可直接使用的代码差异和预写PR描述,帮助开发者(尤其是vibe coders)在几分钟内修复隐患,避免线上事故。

VibeCheck

VibeCheck

VibeCheck 是一款面向开发者的 bug 报告工具,支持一键录制屏幕、控制台日志和网络请求,并提供会话回放功能。其 AI 能理解 bug 报告并自动生成 GitHub 拉取请求进行修复,极大提升调试效率。本文深入评测其功能、场景与局限性。

Checkmarx Next-Gen SAST

Checkmarx Next-Gen SAST

Checkmarx Next-Gen SAST 将规则引擎、LLM 扫描和结果验证引擎整合为三层防线,只推送确认后的真实漏洞,并覆盖 AI 生成代码。作为 Checkmarx One 订阅的一部分,现有客户无需额外付费即可启用。

评论

评论

0
0/500 字符

暂无评论

成为第一个评论的人

开源项目

探索、学习和贡献开源AI项目,推动人工智能技术的发展

查看全部