Upload README.md



README.md

@@ -1,3 +1,175 @@
----
-license: llama3.1
----
+---
+language:
+- ro
+- en
+license: llama3.1
+base_model: meta-llama/Meta-Llama-3.1-8B
+model-index:
+- name: pansophic-1-preview-LLaMA3.1-8b
+  results: []
+---
+
+<img src="https://cdn-uploads.huggingface.co/production/uploads/6501bfe0493fd9c8c2e32402/lD6vkg6RxQKB8Da0JTWxi.jpeg" alt="Pansophic Logo" width="800" style="display:block; margin-left:auto; margin-right:auto;"/>
+
+# pansophic-1-preview 🇷🇴
+**pansophic-1-preview** 🦝 is an 8-billion parameter large language model that was trained on a mix of English and Romanian instructions. The prompt format used is **ChatML**.
+
+## Model description
+- **Model type:** An 8B parameter GPT-like model fine-tuned and aligned with APO-ZERO.
+- **Language(s) (NLP):** Romanian and English
+- **License:** llama3.1
+- **Finetuned from model:** [meta-llama](https://huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct)
+
+## Performance
+The model is compared on benchmarks created by the [OpenLLMRo Community](https://huggingface.co/OpenLLM-Ro):
+![Benchmarks Results](https://cdn-uploads.huggingface.co/production/uploads/6501bfe0493fd9c8c2e32402/mmrZ_0GbBbfBzixqxXUCq.png)
+
+## Input Format
+The model is trained with the ChatML format:
+
+```text
+<|im_start|>user
+Your message here!<|im_end|>
+<|im_start|>assistant
+```
+
+The model is optimized for a diverse set of use cases:
+
+### System prompt:
+```text
+<|im_start|>system
+System prompt here.<|im_end|>
+<|im_start|>user
+Your message here!<|im_end|>
+<|im_start|>assistant
+```
+
+### Context usage:
+```text
+<|im_start|>context
+Context here.<|im_end|>
+<|im_start|>user
+Your message here!<|im_end|>
+<|im_start|>assistant
+```
+
+### Tools usage:
+```text
+<|im_start|>tools
+Tools here.<|im_end|>
+<|im_start|>user
+Your message here!<|im_end|>
+<|im_start|>assistant
+```
+
+## Model usage
+
+### Running the model
+Here's how you can run the model using 🤗 Transformers:
+
+```python
+import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
+
+model = AutoModelForCausalLM.from_pretrained("pansophic/pansophic-1-preview-LLaMA3.1-8b", torch_dtype=torch.bfloat16).to("cuda")
+tokenizer = AutoTokenizer.from_pretrained("pansophic/pansophic-1-preview-LLaMA3.1-8b", torch_dtype=torch.bfloat16)
+streamer = TextStreamer(tokenizer)
+
+message = "Ce faci?"
+chat = [{"role": "user", "content": message}]
+
+prompt = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
+inputs = tokenizer.encode(prompt, add_special_tokens=True, return_tensors="pt")
+outputs = model.generate(input_ids=inputs.to("cuda"),
+                         max_new_tokens=64000,
+                         do_sample=True,
+                         temperature=0.7,
+                         repetition_penalty=1.1,
+                         top_p=0.95,
+                         use_cache=True,
+                         streamer=streamer)
+```
+
+### Tool usage
+The model is optimized for agentic behavior when it has access to external tools. In the example below, we inform the model that it has access to a function that can generate images:
+
+```text
+tools = """[{"name": "image_generation", "description": "Generează o imagine pe baza unui query.", "parameters": {"query": {"description": "Query-ul pe baza căruia să se genereze imaginea.", "type": "str"}}}]"""
+query = "Generează o imagine cu un coldbrew, iar în fundal Turnul Eiffel."
+
+chat = [{"role": "tools", "content": tools},
+        {"role": "user", "content": message}]
+```
+
+The model’s response will be:
+
+```text
+<tool_call> {"name": "image_generation", "arguments": {"query": "Un coldbrew în prim-plan, cu Turnul Eiffel în fundal"}} </tool_call>
+```
+
+The start of the function call is denoted by the special token `<tool_call>`, and the `</tool_call>` token marks the end of the function call.
+
+### System prompt
+The model is optimized to adhere strictly to system prompts:
+
+```text
+system = "Foloseste doar emoji-uri atunci când răspunzi."
+message = "Ești fericit?"
+
+chat = [{"role": "system", "content": system},
+        {"role": "user", "content": message}]
+```
+
+The model’s response will be:
+
+```text
+😊🙌💖
+```
+
+### Context usage
+The model is optimized for context usage. The model generates special tokens to retrieve information from the context before formulating an answer, ensuring that the response is grounded in the appropriate context.
+
+```text
+context = """Document:0 
+Title: Contextul Politic din România  
+Text: În România, contextul politic este caracterizat de o dinamică complexă și adesea imprevizibilă. Partidele politice majore, precum Partidul Social Democrat (PSD) și Partidul Național Liberal (PNL), domină scena politică, dar nu fără provocări interne și externe. România se confruntă cu provocări legate de stabilitatea guvernului, polarizarea politică și tensiuni între diferitele ramuri ale puterii. Alegerile recente au evidențiat o creștere a sentimentului anti-establishment, cu partide noi și mișcări politice care câștigă teren. În plus, relațiile cu Uniunea Europeană și politicile economice rămân subiecte fierbinți, influențând deciziile politice și direcția strategică a țării. În general, climatul politic din România rămâne volatil, reflectând tranziția continuă a țării către o democrație matură și consolidată.
+
+Document:1
+Title: Influența lui Mihai Eminescu în România
+Text:Mihai Eminescu, considerat cel mai mare poet național al României, a avut o influență profundă asupra culturii și conștiinței naționale românești. Opera sa, caracterizată printr-o profundă reflecție filosofică și o extraordinară bogăție lingvistică, a devenit un reper în literatura română, inspirând generații întregi de scriitori, intelectuali și oameni de cultură.
+
+Eminescu nu a fost doar un poet romantic; el a fost și un jurnalist vehement, care a comentat asupra contextului politic și social al României de la sfârșitul secolului al XIX-lea. În articolele sale publicate în "Timpul", a criticat corupția politică, inegalitățile sociale și influențele externe care amenințau identitatea națională. Prin cuvântul său, Eminescu a militat pentru conservarea tradițiilor și a valorilor autentice românești, văzând în acestea fundația unei Românii puternice și independente.
+
+În educația din România, operele lui Eminescu sunt parte integrantă a curriculei, fiind studiate în detaliu în școli și universități. Poezii precum "Luceafărul" sau "Scrisoarea III" sunt considerate capodopere ale literaturii universale, iar influența sa se resimte și astăzi în discursul cultural și naționalist românesc. În fiecare an, la 15 ianuarie, ziua de naștere a lui Eminescu, se celebrează "Ziua Culturii Naționale" în România, un omagiu adus moștenirii sale durabile.
+
+Eminescu a devenit un simbol al sufletului românesc, iar lucrările sale rămân un testament al luptelor, viselor și aspirațiilor poporului român. Influența sa este atât de profundă încât numele său este asociat nu doar cu literatura, ci și cu identitatea culturală națională a României."""
+---
+message = "În ce ziar a scris Mihai Eminescu?"
+
+chat = [{"role": "context", "content": context},
+        {"role": "user", "content": message}]
+```
+
+The model’s response is:
+
+```text
+<gather_info>
+<document: 1>
+- Mihai Eminescu a scris ca jurnalist în "Timpul"
+- A comentat asupra contextului politic și social al României de la sfârșitul secolului al XIX-lea
+- A criticat corupția politică, inegalitățile sociale și influențele externe care amenințau identitatea
+
+ națională
+</gather_info>
+```
+
+## Limitations
+While **pansophic-1-preview** 🇷🇴 is an advanced model, it may generate incorrect or nonsensical responses, especially in complex or highly nuanced scenarios. It should be used with caution in critical applications.
+
+## Acknowledgments
+The OpenLLM-Ro team extends its gratitude to all contributors and users who provided valuable feedback during the model's development.
+
+---
+
+# License
+This model is licensed under the **llama3.1** license.