aixsatoshi
commited on
Commit
•
86b41fe
1
Parent(s):
a6cf725
Update README.md
Browse files
README.md
CHANGED
@@ -75,4 +75,7 @@ num_fewshot: 2, batch_size: 1
|
|
75 |
Lora学習時のcontext長は4096tokenまでですが、4k token以上の出力も可能です。
|
76 |
|
77 |
注:bf16での使用を想定しています。
|
78 |
-
量子化推論する場合は、bf16でモデルを読み込んだ状態でLora適応またはマージ、その後に量子化してください。
|
|
|
|
|
|
|
|
75 |
Lora学習時のcontext長は4096tokenまでですが、4k token以上の出力も可能です。
|
76 |
|
77 |
注:bf16での使用を想定しています。
|
78 |
+
量子化推論する場合は、bf16でモデルを読み込んだ状態でLora適応またはマージ、その後に量子化してください。
|
79 |
+
|
80 |
+
学習強度が1/3と、2/3のcheck pointも公開しました
|
81 |
+
こちらのほうがベースモデルの汎化性能維持できている可能性があります
|