---
language:
- ro
- en
license: llama3.1
base_model: meta-llama/Meta-Llama-3.1-8B
model-index:
- name: pansophic-1-preview-LLaMA3.1-8b
results: []
---
# pansophic-1-preview 🇷🇴
**pansophic-1-preview** 🦝 is an 8-billion parameter large language model that was trained on a mix of English and Romanian instructions. The prompt format used is **ChatML**.
## Model description
- **Model type:** An 8B parameter GPT-like model fine-tuned and aligned with APO-ZERO.
- **Language(s) (NLP):** Romanian and English
- **License:** llama3.1
- **Finetuned from model:** [meta-llama](https://huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct)
## Performance
The model is compared on benchmarks created by the [OpenLLMRo Community](https://huggingface.co/OpenLLM-Ro):
## Input Format
The model is trained with the ChatML format:
```text
<|im_start|>user
Your message here!<|im_end|>
<|im_start|>assistant
```
The model is optimized for a diverse set of use cases:
### System prompt:
```text
<|im_start|>system
System prompt here.<|im_end|>
<|im_start|>user
Your message here!<|im_end|>
<|im_start|>assistant
```
### Context usage:
```text
<|im_start|>context
Context here.<|im_end|>
<|im_start|>user
Your message here!<|im_end|>
<|im_start|>assistant
```
### Tools usage:
```text
<|im_start|>tools
Tools here.<|im_end|>
<|im_start|>user
Your message here!<|im_end|>
<|im_start|>assistant
```
## Model usage
### Running the model
Here's how you can run the model using 🤗 Transformers:
```python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
model = AutoModelForCausalLM.from_pretrained("pansophic/pansophic-1-preview-LLaMA3.1-8b", torch_dtype=torch.bfloat16).to("cuda")
tokenizer = AutoTokenizer.from_pretrained("pansophic/pansophic-1-preview-LLaMA3.1-8b", torch_dtype=torch.bfloat16)
streamer = TextStreamer(tokenizer)
message = "Ce faci?"
chat = [{"role": "user", "content": message}]
prompt = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
inputs = tokenizer.encode(prompt, add_special_tokens=True, return_tensors="pt")
outputs = model.generate(input_ids=inputs.to("cuda"),
max_new_tokens=64000,
do_sample=True,
temperature=0.7,
repetition_penalty=1.1,
top_p=0.95,
use_cache=True,
streamer=streamer)
```
### Tool usage
The model is optimized for agentic behavior when it has access to external tools. In the example below, we inform the model that it has access to a function that can generate images:
```text
tools = """[{"name": "image_generation", "description": "Generează o imagine pe baza unui query.", "parameters": {"query": {"description": "Query-ul pe baza căruia să se genereze imaginea.", "type": "str"}}}]"""
query = "Generează o imagine cu un coldbrew, iar în fundal Turnul Eiffel."
chat = [{"role": "tools", "content": tools},
{"role": "user", "content": message}]
```
The model’s response will be:
```text
{"name": "image_generation", "arguments": {"query": "Un coldbrew în prim-plan, cu Turnul Eiffel în fundal"}}
```
The start of the function call is denoted by the special token ``, and the `` token marks the end of the function call.
### System prompt
The model is optimized to adhere strictly to system prompts:
```text
system = "Foloseste doar emoji-uri atunci când răspunzi."
message = "Ești fericit?"
chat = [{"role": "system", "content": system},
{"role": "user", "content": message}]
```
The model’s response will be:
```text
😊🙌💖
```
### Context usage
The model is optimized for context usage. The model generates special tokens to retrieve information from the context before formulating an answer, ensuring that the response is grounded in the appropriate context.
```text
context = """Document:0
Title: Contextul Politic din România
Text: În România, contextul politic este caracterizat de o dinamică complexă și adesea imprevizibilă. Partidele politice majore, precum Partidul Social Democrat (PSD) și Partidul Național Liberal (PNL), domină scena politică, dar nu fără provocări interne și externe. România se confruntă cu provocări legate de stabilitatea guvernului, polarizarea politică și tensiuni între diferitele ramuri ale puterii. Alegerile recente au evidențiat o creștere a sentimentului anti-establishment, cu partide noi și mișcări politice care câștigă teren. În plus, relațiile cu Uniunea Europeană și politicile economice rămân subiecte fierbinți, influențând deciziile politice și direcția strategică a țării. În general, climatul politic din România rămâne volatil, reflectând tranziția continuă a țării către o democrație matură și consolidată.
Document:1
Title: Influența lui Mihai Eminescu în România
Text:Mihai Eminescu, considerat cel mai mare poet național al României, a avut o influență profundă asupra culturii și conștiinței naționale românești. Opera sa, caracterizată printr-o profundă reflecție filosofică și o extraordinară bogăție lingvistică, a devenit un reper în literatura română, inspirând generații întregi de scriitori, intelectuali și oameni de cultură.
Eminescu nu a fost doar un poet romantic; el a fost și un jurnalist vehement, care a comentat asupra contextului politic și social al României de la sfârșitul secolului al XIX-lea. În articolele sale publicate în "Timpul", a criticat corupția politică, inegalitățile sociale și influențele externe care amenințau identitatea națională. Prin cuvântul său, Eminescu a militat pentru conservarea tradițiilor și a valorilor autentice românești, văzând în acestea fundația unei Românii puternice și independente.
În educația din România, operele lui Eminescu sunt parte integrantă a curriculei, fiind studiate în detaliu în școli și universități. Poezii precum "Luceafărul" sau "Scrisoarea III" sunt considerate capodopere ale literaturii universale, iar influența sa se resimte și astăzi în discursul cultural și naționalist românesc. În fiecare an, la 15 ianuarie, ziua de naștere a lui Eminescu, se celebrează "Ziua Culturii Naționale" în România, un omagiu adus moștenirii sale durabile.
Eminescu a devenit un simbol al sufletului românesc, iar lucrările sale rămân un testament al luptelor, viselor și aspirațiilor poporului român. Influența sa este atât de profundă încât numele său este asociat nu doar cu literatura, ci și cu identitatea culturală națională a României."""
---
message = "În ce ziar a scris Mihai Eminescu?"
chat = [{"role": "context", "content": context},
{"role": "user", "content": message}]
```
The model’s response is:
```text
- Mihai Eminescu a scris ca jurnalist în "Timpul"
- A comentat asupra contextului politic și social al României de la sfârșitul secolului al XIX-lea
- A criticat corupția politică, inegalitățile sociale și influențele externe care amenințau identitatea
națională
```
## Limitations
While **pansophic-1-preview** 🇷🇴 is an advanced model, it may generate incorrect or nonsensical responses, especially in complex or highly nuanced scenarios. It should be used with caution in critical applications.
## Acknowledgments
The OpenLLM-Ro team extends its gratitude to all contributors and users who provided valuable feedback during the model's development.
---
# License
This model is licensed under the **llama3.1** license.