license: gemma
language:
- ja
base_model:
- google/gemma-2-2b-jpn-it
tags:
- gemma2
本モデルについて About this model.
google/gemma-2-2b-jpn-itを日本語が多く含まれる重要度行列(iMatrix)を使って量子化したgguf版です。
日本語対応能力が多めに保持されている事を期待しています。
gemma-2-9b-itの4bit量子化版で比較したところ、perplexityスコアがわずかに改善する事がわかっています。
This is a quantized gguf version of google/gemma-2-2b-jpn-it using an importance matrix (iMatrix) that contains many Japanese words.
I hope it retains more Japanese support.
When compared with the 4-bit quantized version of gemma-2-9b-it, we found that the perplexity score improved slightly.
How to Use.
ブラウザインタフェース (browser) Windows11のターミナル(CMD, Power shell)では日本語が化けてしまうのでブラウザを使ってください Please use a browser as Japanese characters will be garbled in the Windows 11 terminal (CMD, Power shell).
公式マニュアルに従ってllama.cppをビルドします Build llama.cpp according to the official manual
ダウンロードしたモデルを指定して下記コマンドを実行します
llama.cpp\build\bin\Release\llama-server -m .\gemma-2-27b-it-Q4_K_M.gguf
どのモデルを使うべきですか？