| FROM JEJUMA-002-Q8_0.gguf | |
| TEMPLATE """<|start_header_id|>system<|end_header_id|> | |
| {System} | |
| <|eot_id|><|start_header_id|>user<|end_header_id|> | |
| {User} | |
| <|eot_id|><|start_header_id|>assistant<|end_header_id|> | |
| {Assistant} | |
| """ | |
| PARAMETER temperature 0.1 | |
| PARAMETER top_p 0.9 | |
| PARAMETER num_predict 3000 | |
| PARAMETER num_ctx 4096 | |
| PARAMETER stop "<|eot_id|>" | |
| PARAMETER stop "<|start_header_id|>" | |
| PARAMETER stop "<|end_header_id|>" | |
| PARAMETER stop "<|begin_of_text|>" | |
| PARAMETER stop "<|end_of_text|>" |