VocabX、用途別語彙による小型LLMの推論費77%減を報告 ↗
VocabXは、特定用途の小型LLM向けに語彙を作り直す研究手法。入力で頻出する語だけでなく、生成時に費用のかかる定型文やJSON表現を重視してトークンを選ぶ。Dharma-AIのポルトガル語作文採点器では、同じQwen3-4Bと学習条件で応答が平均350から101トークンとなった。同社はRTX 5090とvLLMで同じ500件の要求を処理した実行時間から、推論費が77.0%下がったと算定した。論文は準備中で、公開された結果は特定の運用環境での測定を含む。


