本报告概述了将 LLM作为更广泛系统组件集成的系统设计模式和最佳实践，涵盖了通过提供额外的上下文或让模型进行推理并与其他组件和外部服务交互的高级模式。每个设计模式包括建议、注意事项和常见误区。这些要素有助于系统架构师在设计决策时做出权衡。

《AI模型风险管理框架》探讨了模型风险管理在AI模型应用任开发、部署和使用方面的重要性，适用于对该主题有兴趣的读者群体，包括直接参与AI开发的从业者以及专注于AI治理的业务和合规监管机构。本报告强调了与AI模型相关的内在风险，如数据偏见、事实性错误或信息不相关（通常被称为“幻觉”或“虚构”）、以及潜在的滥用行为。同时，提出了一个全面的MRM框架的需求，该框架基于四个相互关联的支柱：模型卡片（ModelCards）、数据手册（DataSheets）、风险卡片（RiskCards）和场景规划（ScenarioPlanning），上述支柱协同工作，通过持续的反馈循环来识别和减轻风险，并改进模型开发与风险管理。具体而言，模型卡片和数据手册为风险评估提供信息，风险卡片则指导场景规划，场景规划进一步优化风险管理和模型开发。

《从原则到实践：动态监管下负责任的人工智能》旨在为各组织提供基本知识，帮助其从根本上了解自身的现状，并为他们在快速变化的负责任、合规地使用人工智能方面的需求提供指导。本文探过了部分现行法规，并阐述了在地区、国家和国际层面开发和部署负责任的人工智能的注意事项和最佳实践。

报告详细讨论了AI 治理与合规的重要性，并分析了AI 技术的发展历史和当 前的训练方法。通过一系列实际案例研究，揭示了AI 失败的教训，并针对汽车、 航空、关键基础设施等行业的监管挑战进行了深入分析。报告提出了一个受生物 进化启发的AI 韧性基准模型，强调了多样性和韧性在AI 系统中的重要性，并给 出了AI 韧性评分的标准。

报告详细分析了数据真实性、匿名化、数据最小化等核心问题，并提出了一系列量化的评估标准与实施策略。同时，报告中引入了AI 共享责任模型，明确界定了AI 平台提供商、应用所有者、开发者与使用者之间的责任分工，并探讨了各方如何协同合作，确保AI 应用的安全可靠运行。

本报告详尽地分析了 LLM 的关键资产、服务生命周期、影响类别和威胁类别，为政策制定者、技术专家和行业决策者提供了一个清晰的理解和应对 LLM相关风险的框架。

CSA大中华区基于其广泛的AI安全生态体系和丰富的研究经验，发布业界第一份AI安全产业图谱。通过调研，AI安全产业的整体状况得到了清晰展现，各个方向的技术需求和创新解决方案也进一步明确。该图谱旨在通过持续的介绍与推广，搭建起AI安全解决方案提供方与需求方之间的桥梁，帮助需求方快速找到符合自身需求的解决方案，同时也为提供方推广其成熟的技术与解决方案创造更多机会。

本报告旨在为AI开发者、企业和政策制定者提供全方位的指导和标准体系。本报告从可靠性、安全性、透明性和公平性四大维度，系统性地分析了AI技术在实际应用中的可信性问题，并深入探讨了提高AI系统可信度的策略和方法。报告不仅评估了AI技术在不同领域的现状，还结合全球标准、行业实践及最新的技术进展，提出了一系列具体的改进措施。

ChatGPT的火爆，将AI的安全与隐私又一次置于聚光灯下，高智慧AI如果产生对人类的不良意识更将是全新的巨大威胁。安全从业者想了解ChatGPT能否有助于自己的工作，企业的管理者想了解能否使用ChatGPT带来业务优势，并规避风险，甚至大众也有AI时代安全与隐私的顾虑和担忧…… 相信此本白皮书能以专业的视角，清晰和准确的描述ChatGPT的安全影响，给读者信息、思考和启发。

This standard document provides a framework for testing and validating the security of Generative AI applications. The framework covers key areas across the AI application lifecycle, including Base Model Selection, Embedding and Vector Database in the Retrieve Augment Generation design patterns, Prompt Execution/Inference, Agentic Behaviors, Fine-Tuning, Response Handling, and AI Application Runtime Security. The primary objective is to ensure AI applications behave securely and according to their intended design throughout their lifecycle. By providing a set of testing and validation standards and guidelines for each layer of the AI Application Stack, focusing on security and compliance, this document aims to assist developers and organizations in enhancing the security and reliability of their AI applications built using LLMs, mitigating potential security risks, improving overall quality, and promoting responsible development and deployment of AI technologies. AI STR program represents a paradigm shift in how we approach the development and deployment of AI technologies. Championing safety, trust, and responsibility in AI systems, lays the groundwork for a more ethical, secure, and equitable digital future, where AI technologies serve as enablers of progress rather than as sources of uncertainty and harm. Generative AI Application Security Testing and Validation Standard is one of the AI STR standards.

This standard document provides a framework for evaluating the resilience of large language models (LLMs) against adversarial attacks. The framework applies to the testing and validation of LLMs across various attack classifications, including L1 Random, L2 Blind-Box, L3 Black-Box, and L4 White-Box. Key metrics used to assess the effectiveness of these attacks include the Attack Success Rate (R) and Decline Rate (D). The document outlines a diverse range of attack methodologies, such as instruction hijacking and prompt masking, to comprehensively test the LLMs' resistance to different types of adversarial techniques. The testing procedure detailed in this standard document aims to establish a structured approach for evaluating the robustness of LLMs against adversarial attacks, enabling developers and organizations to identify and mitigate potential vulnerabilities, and ultimately improve the security and reliability of AI systems built using LLMs. By establishing the "Large Language Model Security Testing Method," WDTA seeks to lead the way in creating a digital ecosystem where AI systems are not only advanced but also secure and ethically aligned. It symbolizes our dedication to a future where digital technologies are developed with a keen sense of their societal implications and are leveraged for the greater benefit of all.

通过对AI安全风险进行深入分析和研究，我们坚信企业和组织可以采取更为有效的管理措施，确保数据安全与隐私保护。面对数字经济时代，企业和组织必须高度重视人工智能安全风险管理，并积极应对各类人工智能安全挑战。借助《AI安全白皮书》的指导和建议，我们期待广大从业者能够更好地把握人工智能安全管理要点，确保数字经济发展可持续性。同时，我们也期待更多企业和组织能够参与到人工智能安全事业中来，共同为构建安全、健康的数字经济环境贡献力量。