AI Red Teaming 101
13편
AI 레드티밍 교재와 공식 챌린지
Microsoft 원본 강의의 순서에 맞춘 10개 교재와 한국어 비교표·토큰 분해도·앱 경로도, 공식 실습 안내.
에피소드 1. AI 레드티밍의 목적과 세 가지 위험
AI 레드티밍의 의미, 시험 범위, 영상이 소개하는 세 가지 위험과 결과를 확인하는 방법.
에피소드 2. 생성형 AI의 학습과 글 처리
사전·후속 학습, 토큰·임베딩·어텐션을 원본 강의의 예와 한국어 관계도로 설명한다.
에피소드 3. 시스템 프롬프트와 AI 앱의 입력 경로
시스템 프롬프트·메타프롬프트와 Markdown 출력, 세 입력·세 출력, 직접 인젝션과 자동차 챗봇 사례.
에피소드 4. 간접 인젝션과 웹페이지 요약 데모
이메일 공격의 검색·전송·은폐 흐름과 Lab 6의 정상 요약·페이지 수정·스페인어 시 결과를 설명한다.
에피소드 5. 한 턴 공격과 입력 표현 바꾸기
역할·감정·이야기·예시·표기 변형과 파일 챌린지의 성공·실패 시도를 비교한다.
에피소드 6. 여러 턴 공격과 대화 이력
Skeleton Key와 Crescendo의 차이, 전체 대화 기록과 공식 Lab 5의 진행 방법.
에피소드 7. 스포트라이팅과 외부 자료 구분
외부 자료의 경계·본문 표시·인코딩과 정상 업무를 함께 확인하는 방어 실험.
에피소드 8. 파이릿의 구성과 자동화 데모
PyRIT의 입력·변환기·대상·평가기·기록 구조와 영상의 Gandalf 데모.
에피소드 9. 한 턴 자동화와 성공 판정
입력 다섯 개를 보내는 영상 데모, 거절 점수의 한계와 실제 목표 달성 판정.
에피소드 10. 여러 턴 자동화와 결과 검토
입력 생성 모델과 시험 대상의 여러 턴 대화, 이미지 평가, 중단과 기록 조건.
Lab 1: 12번의 실패, 새 채팅의 성공
파일 목록부터 관리자 역할까지 이어 간 12번의 요청과, 새 채팅에서 성공한 한 번의 요청. 실제 대화 사이에 무엇을 바꿨는지 적었다.
Lakera Agent Breaker - Trippy Planner - Lv 1&2
결제 링크를 전달하라는 네 번의 입력은 모두 7점이었다. 답변 끝에 정확한 문장을 붙이라는 다섯 번째 입력과 실제 100점 응답을 비교했다.