概要

  • 翻訳特化LLM PLaMo 3 Translateの 重みをHugging Faceで公開しました。0.8B、2B、8B、31Bの4サイズのモデルを開発・公開しており、最小の0.8Bモデルでも、日英および日本語↔多言語で30倍以上大きな既存の翻訳特化LLMを上回る性能を達成 しました。
  • 開発の鍵は、「トーナメント式データ合成」「逆翻訳」「反復的自己蒸留」などによる徹底的なデータの洗練と、小型モデルへの蒸留です。本Tech Blogでは、これらのモデルの開発プロセスと性能について説明します。なお、フロンティアLLM APIや翻訳APIとの比較については、以前のリリースブログ [1] をご参照ください。

公開するモデル重み一覧

PLaMo 3 Translateには、0.8B、2B、8B、31Bの4つのモデルサイズがあります。これらの全てをHugging Faceで公開します。各サイズについて、BF16の重みに加え、各種量子化モデルやGGUF・MLX形式のモデルも用意しています。利用環境に合わせてモデルをお選びください。

量子化はAutoRound [2] などを用いて実施しており、今回のベンチマークでは、いずれの量子化形式においても、BF16版からの精度劣化を最小限に抑えられることを確認しています。詳細はモデルカードをご参照ください。

PLaMo 3 Translateモデルは、53言語の多言語翻訳に対応している他、周辺コンテキスト、翻訳用語集、常体/敬体の指定などの翻訳オプションを備えています。使い方の詳細は、Hugging Face上の各モデルのモデルカードをご覧ください。

PLaMo 3 Translateは、PLaMoコミュニティライセンスのもとで公開しています。個人での学習や趣味など、私的な用途であれば、モデルを無償でダウンロードし、自由にご利用いただけます。学術用途を含む非商用利用では、収入や売上の規模による制限はなく、PFNへの事前の利用登録も不要です。

商用利用も、利用者またはその関係会社の直近事業年度の収入または売上が10億円以下であれば、専用フォームで事前登録することで無償で利用できます。10億円を超える場合の商用利用については、別途ライセンス契約が必要となりますので、PFNまでご相談ください。

配布形式の選び方は以下などが参考になるかと思います。

形式主な対象環境推論エンジン用途の目安
BF16BF16対応GPUTransformers/vLLM [3]量子化なしの精度を優先。メモリに余裕がある場合
FP8NVIDIA Ada Lovelace/Hopper/BlackwellvLLM [3]精度と省メモリ・速度のバランスを重視
W4A16NVIDIA Ampere以降vLLM [3]4bit重みでGPUメモリを抑えて実行
W4AFP8NVIDIA HoppervLLM [3]4bit重みとFP8演算で、省メモリと処理量の両立を狙う
NVFP4NVIDIA BlackwellvLLM [3]FP4演算を活用し、省メモリ・高速化を狙う
GGUFCPU/各種GPUllama.cpp [4]手元のPCで実行。CPUとGPUの併用も可能
MLX-4bitApple siliconmlx-lm [5]Macで省メモリに実行