---
license: apache-2.0
---

[ahxt/LiteLlama-460M-1T](https://huggingface.co/ahxt/LiteLlama-460M-1T)を日英データ3.9Bトークンで継続事前学習したモデルです。

詳細は[こちら](https://zenn.dev/kendama/articles/d1f595777a8407)をご覧ください。

名前の由来は日本の在来馬で体躯の小さい品種であるヨナグニウマからです。

```python
from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

model = AutoModelForCausalLM.from_pretrained('Kendamarron/Yonaguni-460M-v0.1')
tokenizer = AutoTokenizer.from_pretrained('Kendamarron/Yonaguni-460M-v0.1')

pipe = pipeline('text-generation', model=model, tokenizer=tokenizer)

prompt = "大規模言語モデルとは、"

print(pipe(prompt, max_length=128, repetition_penalty=1.1, temperature=0.7, top_p=0.95))
```