dahara1 commited on
Commit
f2a964a
1 Parent(s): c6473c7

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +29 -9
README.md CHANGED
@@ -18,20 +18,40 @@ This is a quantized gguf version of [google/gemma-2-2b-jpn-it](https://huggingfa
18
  I hope it retains more Japanese support.
19
  When [compared with the 4-bit quantized version of gemma-2-9b-it](https://huggingface.co/google/gemma-2-2b-jpn-it), we found that the perplexity score improved slightly.
20
 
21
- # How to Use.
22
 
23
- ブラウザインタフェース (browser)
24
- Windows11のターミナル(CMD, Power shell)では日本語が化けてしまうのでブラウザを使ってください
25
- Please use a browser as Japanese characters will be garbled in the Windows 11 terminal (CMD, Power shell).
26
 
27
- 公式マニュアルに従ってllama.cppをビルドします
28
- Build llama.cpp according to the official manual
29
 
30
- ダウンロードしたモデルを指定して下記コマンドを実行します
 
 
 
 
31
  ```
32
- llama.cpp\build\bin\Release\llama-server -m .\gemma-2-27b-it-Q4_K_M.gguf
33
  ```
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
34
 
35
- どのモデルを使うべきですか?
36
 
37
 
 
18
  I hope it retains more Japanese support.
19
  When [compared with the 4-bit quantized version of gemma-2-9b-it](https://huggingface.co/google/gemma-2-2b-jpn-it), we found that the perplexity score improved slightly.
20
 
21
+ # 使い方 How to Use.
22
 
23
+ ggufフォーマットに対応したツールは様々なものがあるのでお好きなツールをお使いください。例えば、[llama.cpp](https://github.com/ggerganov/llama.cpp)での使い方は以下です
24
+ There are many tools that support the gguf format, so please use the one you like. For example, the usage for [llama.cpp](https://github.com/ggerganov/llama.cpp) is as follows.
 
25
 
26
+ Windows11のターミナル(CMD, Power shell)では日本語が化けてしまうのでブラウザを使ってください
27
+ Please use a browser as Japanese characters will be garbled in the Windows 11 terminal (CMD, Power shell).
28
 
29
+ 公式マニュアルに従ってllama.cppをビルドします
30
+ Build llama.cpp according to the official manual
31
+
32
+ ダウンロードしたモデルを指定して下記コマンドを実行します
33
+ Execute command.
34
  ```
35
+ llama.cpp\build\bin\Release\llama-server -m .\gemma-2-9b-it-Q4_K_M-fp16.gguf
36
  ```
37
+ ブラウザでhttp://127.0.0.1:8080を開きます
38
+ Open http://127.0.0.1:8080 in your browser
39
+
40
+
41
+ ![image/png](https://cdn-uploads.huggingface.co/production/uploads/630469550907b9a115c91e62/PHli0VVox8bt6ziQoP02B.png)
42
+
43
+
44
+ # どのモデルを使うべきですか? Which model should I use?
45
+
46
+ 人によって意見が異なりますが、目安としては以下です
47
+ - できればQ4以上
48
+ - メモリが許す限り大きいモデル(例えば、利用可能なメモリの7割程度)
49
+
50
+ Opinions vary from person to person, but here are some guidelines:
51
+ - Preferably Q4 or higher
52
+ - As large a model as memory allows (for example, about 70% of available memory)
53
+
54
+
55
 
 
56
 
57