Obrigado por enviar sua consulta! Um dos membros da nossa equipe entrará em contato com você em breve.
Obrigado por enviar sua reserva! Um dos membros da nossa equipe entrará em contato com você em breve.
Programa do Curso
Dia 1: Fundamentos e Ameaças Principais
Módulo 1: Introdução ao Projeto OWASP GenAI Security (1 hora)
Objetivos de Aprendizagem:
- Compreender a evolução do OWASP Top 10 para desafios de segurança específicos à GenAI
- Explorar o ecossistema e os recursos do projeto OWASP GenAI Security
- Identificar as principais diferenças entre a segurança de aplicativos tradicionais e a segurança de IA
Tópicos Abordados:
- Visão geral da missão e escopo do projeto OWASP GenAI Security
- Introdução ao framework Threat Defense COMPASS
- Compreensão do cenário de segurança de IA e requisitos regulatórios
- Superfícies de ataque de IA versus vulnerabilidades de aplicativos web tradicionais
Exercício Prático: Configuração da ferramenta OWASP Threat Defense COMPASS e realização de avaliação inicial de ameaças
Módulo 2: OWASP Top 10 para LLMs - Parte 1 (2,5 horas)
Objetivos de Aprendizagem:
- Dominar as primeiras cinco vulnerabilidades críticas LLM
- Compreender vetores de ataque e técnicas de exploração
- Aplicar estratégias práticas de mitigação
Tópicos Abordados:
LLM01: Injeção de Prompt
- Técnicas diretas e indiretas de injeção de prompt
- Ataques com instruções ocultas e contaminação cruzada de prompts
- Exemplos práticos: Quebra de chatbots e bypass de medidas de segurança
- Estratégias de defesa: Sanitização de entrada, filtragem de prompt, privacidade diferencial
LLM02: Divulgação de Informações Sensíveis
- Extração de dados de treinamento e vazamento de prompts do sistema
- Análise de comportamento do modelo para exposição de informações sensíveis
- Implicações de privacidade e considerações de conformidade regulatória
- Mitigação: Filtragem de saída, controles de acesso, anonimização de dados
LLM03: Vulnerabilidades da Cadeia de Suprimentos
- Dependências de modelos de terceiros e segurança de plugins
- Conjuntos de dados de treinamento comprometidos e envenenamento de modelos
- Avaliação de riscos de fornecedores para componentes de IA
- Práticas de implantação e verificação seguras de modelos
Exercício Prático: Laboratório prático demonstrando ataques de injeção de prompt contra aplicações LLM vulneráveis e implementação de medidas defensivas
Módulo 3: OWASP Top 10 para LLMs - Parte 2 (2 horas)
Tópicos Abordados:
LLM04: Envenenamento de Dados e Modelos
- Técnicas de manipulação de dados de treinamento
- Modificação do comportamento do modelo através de entradas envenenadas
- Ataques de backdoor e verificação da integridade dos dados
- Prevenção: Pipelines de validação de dados, rastreamento de origem
LLM05: Manipulação Impropera de Saídas
- Processamento inseguro de conteúdo gerado por LLM
- Injeção de código através de saídas geradas por IA
- Cross-site scripting via respostas de IA
- Quadros de validação e sanitização de saída
Exercício Prático: Simulação de ataques de envenenamento de dados e implementação de mecanismos robustos de validação de saída
Módulo 4: Ameaças Avançadas LLM (1,5 hora)
Tópicos Abordados:
LLM06: Agência Excessiva
- Riscos de decisão autônoma e violações de limites
- Gerenciamento de autoridade e permissões do agente
- Interações não intencionais do sistema e escalonamento de privilégios
- Implementação de guardrails e controles de supervisão humana
LLM07: Vazamento de Instruções do Sistema
- Vulnerabilidades de exposição de instruções do sistema
- Divulgação de credenciais e lógica através de prompts
- Técnicas de ataque para extração de prompts de sistema
- Segurança de instruções do sistema e configuração externa
Exercício Prático: Design de arquiteturas seguras de agentes com controles de acesso apropriados e monitoramento
Dia 2: Ameaças Avançadas e Implementação
Módulo 5: Ameaças Emergentes de IA (2 horas)
Objetivos de Aprendizagem:
- Compreender ameaças de segurança de IA de vanguarda
- Implementar técnicas avançadas de detecção e prevenção
- Projetar sistemas de IA resilientes contra ataques sofisticados
Tópicos Abordados:
LLM08: Fraquezas de Vetores e Embeddings
- Vulnerabilidades do sistema RAG e segurança da base de dados vetorial
- Envenenamento de embeddings e ataques de manipulação de similaridade
- Exemplos adversários em busca semântica
- Segurança de lojas vetoriais e implementação de detecção de anomalias
LLM09: Desinformação e Confiabilidade do Modelo
- Detecção e mitigação de alucinações
- Amplificação de viés e considerações de equidade
- Mecanismos de verificação de fatos e fontes
- Validação de conteúdo e integração de supervisão humana
LLM10: Consumo Ilimitado
- Esgotamento de recursos e ataques de negação de serviço
- Estratégias de limitação de taxa e gerenciamento de recursos
- Otimização de custos e controles orçamentários
- Monitoramento de desempenho e sistemas de alerta
Exercício Prático: Construção de um pipeline seguro RAG com proteção de base de dados vetorial e detecção de alucinações
Módulo 6: Segurança de IA Agente (2 horas)
Objetivos de Aprendizagem:
- Compreender os desafios únicos de segurança de agentes autônomos de IA
- Aplicar a taxonomia OWASP Agentic AI a sistemas do mundo real
- Implementar controles de segurança para ambientes multi-agentes
Tópicos Abordados:
- Introdução à IA Agente e sistemas autônomos
- Taxonomia de Ameaças OWASP Agentic AI: Design de Agente, Memória, Planejamento, Uso de Ferramentas, Implantação
- Segurança e riscos de coordenação em sistemas multi-agentes
- Ataques de uso indevido de ferramentas, envenenamento da memória e sequestro de objetivos
- Segurança da comunicação do agente e processos de tomada de decisão
Exercício Prático: Exercício de modelagem de ameaças usando a taxonomia OWASP Agentic AI em um sistema de atendimento ao cliente multi-agente
Módulo 7: Implementação do Threat Defense COMPASS (2 horas)
Objetivos de Aprendizagem:
- Dominar a aplicação prática do Threat Defense COMPASS
- Integrar a avaliação de ameaças à IA em programas de segurança organizacionais
- Desenvolver estratégias abrangentes de gerenciamento de riscos de IA
Tópicos Abordados:
- Aprofundamento na metodologia Threat Defense COMPASS
- Integração com o ciclo OODA: Observar, Orientar, Decidir, Agir
- Mapeamento de ameaças para os frameworks MITRE ATT&CK e ATLAS
- Construção de Painéis de Estratégia de Resiliência a Ameaças de IA
- Integração com ferramentas e processos de segurança existentes
Exercício Prático: Avaliação completa de ameaças usando COMPASS para um cenário de implantação do Microsoft Copilot
Módulo 8: Implementação Prática e Melhores Práticas (2,5 horas)
Objetivos de Aprendizagem:
- Projetar arquiteturas seguras de IA desde o início
- Implementar monitoramento e resposta a incidentes para sistemas de IA
- Criar frameworks de governança para segurança de IA
Tópicos Abordados:
Ciclo de Vida Seguro de Desenvolvimento de IA:
- Princípios de segurança-by-design para aplicações de IA
- Práticas de revisão de código para integrações LLM
- Metodologias de teste e varredura de vulnerabilidades
- Segurança da implantação e hardening em produção
Monitoramento e Detecção:
- Requisitos específicos de registro e monitoramento para sistemas de IA
- Detecção de anomalias em sistemas de IA
- Procedimentos de resposta a incidentes para eventos de segurança de IA
- Técnicas de forense e investigação
Governança e Conformidade:
- Frameworks e políticas de gerenciamento de riscos de IA
- Considerações de conformidade regulatória (GDPR, AI Act, etc.)
- Avaliação de riscos de terceiros para fornecedores de IA
- Treinamento de conscientização de segurança para equipes de desenvolvimento de IA
Exercício Prático: Design de uma arquitetura completa de segurança para um chatbot de IA empresarial, incluindo monitoramento, governança e procedimentos de resposta a incidentes
Módulo 9: Ferramentas e Tecnologias (1 hora)
Objetivos de Aprendizagem:
- Avaliar e implementar ferramentas de segurança de IA
- Compreender o cenário atual das soluções de segurança de IA
- Construir capacidades práticas de detecção e prevenção
Tópicos Abordados:
- Ecossistema de ferramentas de segurança de IA e cenário de fornecedores
- Ferramentas open-source: Garak, PyRIT, Giskard
- Soluções comerciais para segurança e monitoramento de IA
- Padrões de integração e estratégias de implantação
- Critérios de seleção de ferramentas e quadros de avaliação
Exercício Prático: Demonstração prática de ferramentas de teste de segurança de IA e planejamento de implementação
Módulo 10: Tendências Futuras e Conclusão (1 hora)
Objetivos de Aprendizagem:
- Compreender ameaças emergentes e desafios futuros de segurança
- Desenvolver estratégias contínuas de aprendizado e melhoria
- Criar planos de ação para programas de segurança de IA organizacionais
Tópicos Abordados:
- Ameaças emergentes: Deepfakes, injeção de prompt avançada, inversão do modelo
- Desenvolvimentos futuros e roadmap do projeto OWASP GenAI
- Construção de comunidades de segurança de IA e compartilhamento de conhecimento
- Melhoria contínua e integração de inteligência de ameaças
Exercício de Planejamento de Ação: Desenvolver um plano de ação de 90 dias para implementar práticas de segurança OWASP GenAI nas organizações dos participantes
Requisitos
- Compreensão geral dos princípios de segurança de aplicativos web
- Familiaridade básica com conceitos de IA/ML
- Experiência com frameworks de segurança ou metodologias de avaliação de riscos preferida
Público-Alvo
- Profissionais de segurança cibernética
- Desenvolvedores de IA
- Arquitetos de sistemas
- Oficiais de conformidade
- Praticantes de segurança
14 Horas
