llama.cpp への貢献

llama.cpp はモデル loading、ローカル/server 推論、CPU/GPU backend、マルチモーダル入力を含むクロスプラットフォームの C/C++ 推論プロジェクトです。問題は backend kernel や text generation loop ではなく、media をモデルへ渡す前に準備する libmtmd にあります。

音声パスでは llama-server が OpenAI-compatible な input_audio ファイルを受け、mtmd_helper が miniaudio で WAV/MP3/FLAC を mono F32 PCM に decode し、libmtmd が audio bitmap を作成します。次に mtmd_tokenize が model-specific preprocessor を選び、media を multimodal chunks と audio tokens に変換します。

音声入力は experimental のままで、共有 tokenizer は複数の preprocessor を選べます。あるモデルが超短い signal を padding できるからといって、共有境界が全ての音声モデルの受理域を黙って広げてはいけません。

Issue report は Voxtral パスで、decode 後にちょうど一つの sample だけを持つ 16 kHz mono WAV を示しています。mono F32 の一 sample は正しい四 byte buffer です。nx == 1、buf.size() == sizeof(float) であり、buffer の alignment も正しいままです。

現在の tokenizer は nx == 0 を回復可能な empty-input error として扱いますが、その後で buf.size() > sizeof(float) を要求します。一 sample では 4 > 4 が false となるため、GGML_ASSERT は request error ではなく ggml_abort に到達します。

CLI が終了し server が一 request 後に /health を失うという結果は上流の報告であり、私のローカル再現ではありません。現在の参加範囲は静的パスと残る acceptance gate の確認で、Windows での再現や修正済みを主張するものではありません。

下位の bitmap は壊れていません。byte size は nx * sizeof(float) なので、one-sample object は表現と alignment の不変条件を満たします。問題は user-controlled な最小長の問いを、プロセス全体を終わらせる内部 memory assertion として書いていることです。

> を単に >= に変えればこの assertion は避けられますが、one-sample signal が全ての model-specific preprocessor に入ります。Whisper-style path は padding するかもしれませんが、Conformer、Parakeet、Granite Speech、Qwen3 TTS などは frame、normalisation、最小長の意味が異なります。静的証拠だけで全体を受理してはいけません。

error boundary は /input_tokens が使う placeholder bitmap も考慮する必要があります。real buffer だけに基づく修正では、同じ sample count で token-count と通常 completion の挙動が食い違う可能性があります。

現在は source change をしていません。暫定方針は、real-buffer と placeholder が分かれる前の共有 audio-tokenization 境界で、既存の LOG_ERR + return-error 契約を使って nx < 2 を拒否することです。異常入力を abort まで到達させず、回復可能な request failure にします。

既存の alignment assertion は内部不変条件として残します。通常の nx >= 2 audio は同じ preprocessor path に入り続け、この案は全音声モデルに one-sample の数値的振る舞いを定義することも避けます。

これは設計候補であり、実装完了の主張ではありません。コードの前に baseline reproduction、zero-sample error wording の選択、real-buffer と placeholder の確認、修正前に失敗し修正後に通る regression test が必要です。