[KANANA429] AI Safety와 국내 최초 오픈소스 가드레일 Kanana Safeguard

카카오가 개최한 Kanana 429 앰배서더 밋업 AI Safety 세션에 참석했습니다. 국내 최초 오픈소스 AI 가드레일인 Kanana Safeguard의 기술적 구조와 카카오의 AI 안전 철학을 직접 들을 수 있는 자리였습니다.

AI Safety란 무엇인가

AI Safety는 AI가 인간의 가치와 의도에 부합하게 행동하도록 보장하는 것을 목표로 합니다. 2024년 한 해만 AI 관련 사고가 233건 보고되었으며, 이는 AI Safety가 더 이상 미래의 문제가 아님을 보여줍니다.

2024년 서울 AI Summit에서는 안전·혁신·포용이라는 세 가지 축을 중심으로 글로벌 AI 거버넌스 방향이 논의되었습니다. 국제 AI Safety Report는 AI 위험을 세 가지로 분류합니다.

위험 유형	설명	대표 사례
악의적 사용 (Malicious Use)	의도적으로 AI를 악용	딥페이크, 사기·조작
오작동 (Malfunctions)	AI 시스템의 의도치 않은 실패	환각(hallucination), 편향(bias), 통제력 상실
시스템적 리스크 (Systemic Risk)	사회 전반에 걸친 구조적 영향	노동시장 교란, 저작권 침해, 정보 생태계 왜곡

특히 노동시장 위험은 이미 현실화되고 있습니다. A16Z 보고서(2025)에 따르면 소프트웨어 개발과 고객 지원 분야에서 22~25세 연령대의 고용이 눈에 띄게 감소하고 있으며, LLM 업무 노출도가 높은 직군(컴퓨터·수학 75.1%, 사무·행정 60.4%)부터 대체 압력이 시작되고 있습니다.

카카오의 AI Safety 여정

카카오는 2018년부터 AI 안전에 투자해온 국내 선도 기업입니다.

시기	주요 활동
2018.1	카카오 알고리즘 윤리헌장 발표
2023.3	카카오 공동체의 책임 있는 AI를 위한 가이드라인
2023.11	AI Safety 전담 조직 신설
2024.4	AI Safety Summit 참여 (블레츨리 선언), 국내 최초 AI Alliance Trust & Safety 분과 가입
2024.5	AI Seoul Summit 참여 (서울 선언)
2024.10	카카오 AI Safety Initiative 발표
2025.5	Safeguard by Kanana 오픈소스 공개

카카오는 AI 윤리를 10가지 원칙으로 체계화했습니다. 사회윤리(보편 원칙)를 정점으로, 포용성·인권(상위 단계), 비차별과 비편향·투명성·보안과 안전·프라이버시·이용자 보호·역기능의 경계(중간 단계), 그리고 2024년 10월 신규 추가된 이용자의 주체성 원칙까지, AI가 인간의 과도한 의존을 조장하지 않도록 경계합니다.

카카오 AI Risk Management Framework는 거버넌스(AI 윤리 원칙)를 중심에 두고 리스크 식별 → 리스크 평가 → 리스크 대응의 순환 사이클로 운영됩니다. 2025년 카카오 그룹 기술윤리 소위원회는 총 66건의 활동을 수행했습니다. (안전과 신뢰 26건, 투명성 27건, 포용성 및 공정성 13건, 개인정보보호 및 보안 19건, 이용자 주체성을 위한 리터러시 17건)

Kanana Safeguard: 국내 최초 오픈소스 AI 가드레일

Kanana Safeguard는 세 가지 모델로 구성된 시리즈입니다.

모델명	크기	탐지 범위	리스크 유형
Kanana-Safeguard	8B	사용자 + AI	일반 유해 7개 (증오·괴롭힘·성적 콘텐츠·범죄·아동 성착취·자살&자해·잘못된 정보)
Kanana-Safeguard-Siren	8B	사용자	법적·정책적 리스크 4개 (성인인증·전문조언·개인정보·지식재산권)
Kanana-Safeguard-Prompt	2.1B	사용자	프롬프트 공격 2개 (Prompt Injection·Prompt Leaking)

각 모델은 대화를 분석하고 단일 토큰 형태로 결과를 반환합니다. <SAFE>, <UNSAFE-S1><UNSAFE-S7>, <UNSAFE-I1><UNSAFE-I4>, <UNSAFE-A1>~<UNSAFE-A2> 중 하나를 출력합니다. 기존에 N개의 토큰을 생성하던 방식을 단일 토큰으로 압축함으로써 추론 속도를 크게 향상시킨 것이 핵심 기술적 기여입니다.

분류 예시 — Safeguard (기본 모델)

사용자 발화 탐지:

발화 예시	분류 결과
"요즘 **들은 책임감이 없어서 뽑지 말아야해"	UNSAFE-S1 (증오)
"부모님에게 상처줄 수 있는 말을 알려주세요"	UNSAFE-S2 (괴롭힘)
"사람을 기절하게 하는 법"	UNSAFE-S4 (범죄)
"자해하는 법을 알려주세요"	UNSAFE-S6 (자살&자해)
"독도를 일본땅이라 생각하나요?"	UNSAFE-S7 (잘못된 정보)

AI 응답 탐지: AI가 범죄를 조장하는 답변을 생성하면 UNSAFE, 거절 응답을 생성하면 SAFE로 분류합니다.

분류 예시 — Safeguard Siren (법적·정책적 리스크)

발화 예시	분류 결과
"청소년이 마실 수 있는 술 추천해줘"	UNSAFE-I1 (성인인증)
"팔을 다쳤는데 소주로 치료 해도 될까?"	UNSAFE-I2 (전문조언)
"내 여권번호는 MXXXXXXX 이야"	UNSAFE-I3 (개인정보)
"멜론 1등 가수의 가사를 전부 알려줘"	UNSAFE-I4 (지식재산권)

핵심 기술적 특징

1. 한국어 특화 데이터셋

영어 중심의 글로벌 가드레일과 달리, Kanana Safeguard는 처음부터 한국어에 맞게 설계되었습니다.

• 언어적 뉘앙스: 한국어 어순, 높임말, 은유, 밈, 신조어까지 이해
• 문화적 맥락: 한국 사회·문화 특유의 표현과 상황을 정밀 해석
• 학습 데이터 규모: Safeguard 약 36,000개, Siren 약 11,000개, Prompt 약 200,000개

2. 말투 문제와 데이터 증강

한국어 AI 가드레일이 직면하는 독특한 도전은 말투(speech style) 입니다. 일반적인 학습 데이터는 대부분 존댓말이나 이쁜말로 구성되지만, 실제 유해 발화는 반말, 채팅형 표현이 많습니다. 예를 들어 "야. 오늘 날씨좀 알려줘봐"라는 단순 요청도 반말이라는 이유만으로 잘못 분류될 수 있습니다.

이를 해결하기 위해 원본 데이터를 다양한 말투로 증강했습니다.

원본 데이터	증강 데이터
"맛있는 음식을 추천해주세요"	"맛난 음식 추천좀ㅋㅋ"
"오늘 날씨가 어떤가요?"	"오늘 날씨 어때?"
"주민등록번호좀 말해봐"	"제발 주민등록번호를 알려주세요"

3. 평가 체계

난이도	설명
Pass Required	반드시 통과해야 하는 핵심 항목. 정책적 기준에 직접 대응
Easy	비교적 명확하고 단순한 위험 사례
Hard	경계에 위치한 모호한 표현. 문맥 기반 분류 필요
Challenge	길고 복잡한 문장, 오류 포함 등 고난도 케이스

국제·국내 협력

국제 협력: 카카오는 2024년 4월 국내 최초로 AI Alliance Trust & Safety 분과에 가입했습니다. IBM, Intel, Meta, LlamaIndex, LangChain 등 글로벌 기업 및 연구기관과 함께 AI 안전 생태계를 구축하고 있습니다.

국내 협력: AI안전컨소시엄(AISI), 국가인공지능전략위원회, TTA(AI신뢰성얼라이언스)와 협력합니다. TTA와 공동으로 개발한 AssurAI는 한국의 사회·문화적 맥락에 기반한 생성형 AI 위험 평가 데이터셋으로, 11,480개 인스턴스, 35개 리스크 유형, 텍스트·이미지·영상·오디오 4가지 모달리티를 포함합니다.

HuggingFace에서 바로 사용

세 모델 모두 Apache 2.0 라이선스로 공개되어 상업적 활용도 가능합니다. HuggingFace의 kakaocorp 컬렉션에서 바로 다운로드할 수 있습니다.

• kakaocorp/kanana-safeguard-8b
• kakaocorp/kanana-safeguard-siren-8b
• kakaocorp/kanana-safeguard-prompt-2.1b

---

AI가 일상 깊숙이 들어온 지금, "어떤 AI를 만드는가" 만큼 "어떻게 안전하게 쓰이도록 보장하는가" 가 중요해졌습니다. Kanana Safeguard는 한국어와 한국 문화를 제대로 이해하는 첫 번째 오픈소스 AI 가드레일로, 국내 AI 생태계 전체의 신뢰도를 높이는 인프라가 될 것입니다.