[KANANA429] Kanana-o 멀티모달 AI의 아키텍처와 서빙 구조

[기존 모델 레이어 복제]
8B dense  →  (레이어 추가)  →  9.8B / 32.5B
26.8B     →  (레이어 추가)  →  더 큰 모델

Kanana-v (이미지 전문)
    │  정제된 이미지-텍스트 쌍 데이터로 사전학습
    │  네이티브 레졸루션 이미지 처리
    │
    ├──── 모델 머징 ────┐
    │                   ▼
Kanana-a (오디오 전문)  Kanana-o (통합)
    │  TTS 모델로       │  공동 파인튜닝
    │  음성 데이터 생성  │  (Joint Training)
    │  LMSPT 토크나이저  │

[기존]  STT → LLM (완료) → TTS (완료) → 재생
[신규]  STT → LLM (스트림) ─┬─▶ TTS (스트림) ─▶ 재생
                             └─▶ 텍스트 출력

sample_rate  = 24_000          # Hz
chunk_length = 4.011           # 초
frames       = int(sample_rate * chunk_length)  # 96,264 프레임
bytes_per_frame = 2            # 16-bit = 2 bytes
buffer_size  = frames * bytes_per_frame         # 192,528 bytes ≈ 188 KB

from openai import OpenAI
import base64, wave, os

client = OpenAI(
    base_url="https://kanana-o.a2s-endpoint.kr-central-2.kakaocloud.com/v1",
    api_key="YOUR_KANANA_API_KEY",
)

response = client.chat.completions.create(
    model="kanana-o",
    messages=[{
        "role": "user",
        "content": [{"type": "text", "text": "구연동화 형식으로 읽어주세요: ..."}],
    }],
    modalities=["text", "audio"],  # 오디오 출력 활성화
    stream=True,
)

os.makedirs("chunks", exist_ok=True)
chunk_files, cnt = [], 0

for chunk in response:
    delta = chunk.model_dump()["choices"][0].get("delta", {})

    audio = delta.get("audio")
    b64 = (audio or {}).get("data") if isinstance(audio, dict) else audio
    if not b64:
        continue

    pcm = base64.b64decode(b64)
    path = f"chunks/{cnt:04d}.wav"
    with wave.open(path, "wb") as wf:
        wf.setnchannels(1)
        wf.setsampwidth(2)      # 16-bit PCM
        wf.setframerate(24000)
        wf.writeframes(pcm)
    chunk_files.append(path)
    cnt += 1

print(f"생성 완료: {cnt}개 청크")

def to_b64(path: str) -> str:
    with open(path, "rb") as f:
        return base64.b64encode(f.read()).decode()

response = client.chat.completions.create(
    model="kanana-o",
    messages=[{
        "role": "user",
        "content": [
            {"type": "image_url",   "image_url": {"url": to_b64("image.jpg")}},
            {"type": "input_audio", "input_audio": {"data": to_b64("audio.wav"), "format": "wav"}},
            {"type": "text",        "text": "이 이미지에 대해 음성으로 설명해줘"},
        ],
    }],
    modalities=["text", "audio"],
    stream=True,
)

{
  "choices": [{
    "delta": {
      "content": "옛날 옛적...",
      "audio": {
        "data": "<base64-PCM-chunk>"
      }
    }
  }]
}

청크 RAW PCM        : 188 KB
Base64 인코딩 (전송) : 251 KB  (+33%)
클라이언트 디코딩 후 : 188 KB  (원복)