Update README.md
Browse files
README.md
CHANGED
|
@@ -8,3 +8,30 @@ tags:
|
|
| 8 |
- gemma2
|
| 9 |
---
|
| 10 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 8 |
- gemma2
|
| 9 |
---
|
| 10 |
|
| 11 |
+
# 本モデルについて About this model.
|
| 12 |
+
|
| 13 |
+
[google/gemma-2-2b-jpn-it](https://huggingface.co/google/gemma-2-2b-jpn-it)を日本語が多く含まれる重要度行列(iMatrix)を使って量子化したgguf版です。
|
| 14 |
+
日本語対応能力が多めに保持されている事を期待しています。
|
| 15 |
+
[gemma-2-9b-itの4bit量子化版で比較](https://huggingface.co/dahara1/imatrix-jpn-test)したところ、perplexityスコアがわずかに改善する事がわかっています。
|
| 16 |
+
|
| 17 |
+
This is a quantized gguf version of [google/gemma-2-2b-jpn-it](https://huggingface.co/google/gemma-2-2b-jpn-it) using an importance matrix (iMatrix) that contains many Japanese words.
|
| 18 |
+
I hope it retains more Japanese support.
|
| 19 |
+
When [compared with the 4-bit quantized version of gemma-2-9b-it](https://huggingface.co/google/gemma-2-2b-jpn-it), we found that the perplexity score improved slightly.
|
| 20 |
+
|
| 21 |
+
# How to Use.
|
| 22 |
+
|
| 23 |
+
ブラウザインタフェース (browser)
|
| 24 |
+
Windows11のターミナル(CMD, Power shell)では日本語が化けてしまうのでブラウザを使ってください
|
| 25 |
+
Please use a browser as Japanese characters will be garbled in the Windows 11 terminal (CMD, Power shell).
|
| 26 |
+
|
| 27 |
+
公式マニュアルに従ってllama.cppをビルドします
|
| 28 |
+
Build llama.cpp according to the official manual
|
| 29 |
+
|
| 30 |
+
ダウンロードしたモデルを指定して下記コマンドを実行します
|
| 31 |
+
```
|
| 32 |
+
llama.cpp\build\bin\Release\llama-server -m .\gemma-2-27b-it-Q4_K_M.gguf
|
| 33 |
+
```
|
| 34 |
+
|
| 35 |
+
どのモデルを使うべきですか？
|
| 36 |
+
|
| 37 |
+
|