---
license: gemma
language:
- ja
base_model:
- google/gemma-2-2b-jpn-it
tags:
- gemma2
---

# 本モデルについて About this model.

[google/gemma-2-2b-jpn-it](https://huggingface.co/google/gemma-2-2b-jpn-it)を日本語が多く含まれる重要度行列(iMatrix)を使って量子化したgguf版です。  
日本語対応能力が多めに保持されている事を期待しています。  
[gemma-2-9b-itの4bit量子化版で比較](https://huggingface.co/dahara1/imatrix-jpn-test)したところ、perplexityスコアがわずかに改善する事がわかっています。

This is a quantized gguf version of [google/gemma-2-2b-jpn-it](https://huggingface.co/google/gemma-2-2b-jpn-it) using an importance matrix (iMatrix) that contains many Japanese words.  
I hope it retains more Japanese support.  
When [compared with the 4-bit quantized version of gemma-2-9b-it](https://huggingface.co/google/gemma-2-2b-jpn-it), we found that the perplexity score improved slightly.  

# How to Use.

ブラウザインタフェース (browser)
Windows11のターミナル(CMD, Power shell)では日本語が化けてしまうのでブラウザを使ってください
Please use a browser as Japanese characters will be garbled in the Windows 11 terminal (CMD, Power shell).

公式マニュアルに従ってllama.cppをビルドします
Build llama.cpp according to the official manual

ダウンロードしたモデルを指定して下記コマンドを実行します
```
llama.cpp\build\bin\Release\llama-server -m .\gemma-2-27b-it-Q4_K_M.gguf
```

どのモデルを使うべきですか？