5CD-AI
/

Viet-Sailor-4B-Instruct

@@ -1,199 +1,185 @@
 ---
 library_name: transformers
-tags: []
 ---
-# Model Card for Model ID
-<!-- Provide a quick summary of what the model is/does. -->
-## Model Details
-### Model Description
-<!-- Provide a longer summary of what this model is. -->
-This is the model card of a 🤗 transformers model that has been pushed on the Hub. This model card has been automatically generated.
-- **Developed by:** [More Information Needed]
-- **Funded by [optional]:** [More Information Needed]
-- **Shared by [optional]:** [More Information Needed]
-- **Model type:** [More Information Needed]
-- **Language(s) (NLP):** [More Information Needed]
-- **License:** [More Information Needed]
-- **Finetuned from model [optional]:** [More Information Needed]
-### Model Sources [optional]
-<!-- Provide the basic links for the model. -->
-- **Repository:** [More Information Needed]
-- **Paper [optional]:** [More Information Needed]
-- **Demo [optional]:** [More Information Needed]
-## Uses
-<!-- Address questions around how the model is intended to be used, including the foreseeable users of the model and those affected by the model. -->
-### Direct Use
-<!-- This section is for the model use without fine-tuning or plugging into a larger ecosystem/app. -->
-[More Information Needed]
-### Downstream Use [optional]
-<!-- This section is for the model use when fine-tuned for a task, or when plugged into a larger ecosystem/app -->
-[More Information Needed]
-### Out-of-Scope Use
-<!-- This section addresses misuse, malicious use, and uses that the model will not work well for. -->
-[More Information Needed]
-## Bias, Risks, and Limitations
-<!-- This section is meant to convey both technical and sociotechnical limitations. -->
-[More Information Needed]
-### Recommendations
-<!-- This section is meant to convey recommendations with respect to the bias, risk, and technical limitations. -->
-Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. More information needed for further recommendations.
-## How to Get Started with the Model
-Use the code below to get started with the model.
-[More Information Needed]
-## Training Details
-### Training Data
-<!-- This should link to a Dataset Card, perhaps with a short stub of information on what the training data is all about as well as documentation related to data pre-processing or additional filtering. -->
-[More Information Needed]
-### Training Procedure
-<!-- This relates heavily to the Technical Specifications. Content here should link to that section when it is relevant to the training procedure. -->
-#### Preprocessing [optional]
-[More Information Needed]
-#### Training Hyperparameters
-- **Training regime:** [More Information Needed] <!--fp32, fp16 mixed precision, bf16 mixed precision, bf16 non-mixed precision, fp16 non-mixed precision, fp8 mixed precision -->
-#### Speeds, Sizes, Times [optional]
-<!-- This section provides information about throughput, start/end time, checkpoint size if relevant, etc. -->
-[More Information Needed]
-## Evaluation
-<!-- This section describes the evaluation protocols and provides the results. -->
-### Testing Data, Factors & Metrics
-#### Testing Data
-<!-- This should link to a Dataset Card if possible. -->
-[More Information Needed]
-#### Factors
-<!-- These are the things the evaluation is disaggregating by, e.g., subpopulations or domains. -->
-[More Information Needed]
-#### Metrics
-<!-- These are the evaluation metrics being used, ideally with a description of why. -->
-[More Information Needed]
-### Results
-[More Information Needed]
-#### Summary
-## Model Examination [optional]
-<!-- Relevant interpretability work for the model goes here -->
-[More Information Needed]
-## Environmental Impact
-<!-- Total emissions (in grams of CO2eq) and additional considerations, such as electricity usage, go here. Edit the suggested text below accordingly -->
-Carbon emissions can be estimated using the [Machine Learning Impact calculator](https://mlco2.github.io/impact#compute) presented in [Lacoste et al. (2019)](https://arxiv.org/abs/1910.09700).
-- **Hardware Type:** [More Information Needed]
-- **Hours used:** [More Information Needed]
-- **Cloud Provider:** [More Information Needed]
-- **Compute Region:** [More Information Needed]
-- **Carbon Emitted:** [More Information Needed]
-## Technical Specifications [optional]
-### Model Architecture and Objective
-[More Information Needed]
-### Compute Infrastructure
-[More Information Needed]
-#### Hardware
-[More Information Needed]
-#### Software
-[More Information Needed]
-## Citation [optional]
-<!-- If there is a paper or blog post introducing the model, the APA and Bibtex information for that should go in this section. -->
-**BibTeX:**
-[More Information Needed]
-**APA:**
-[More Information Needed]
-## Glossary [optional]
-<!-- If relevant, include terms and calculations in this section that can help readers understand the model or model card. -->
-[More Information Needed]
-## More Information [optional]
-[More Information Needed]
-## Model Card Authors [optional]
-[More Information Needed]
-## Model Card Contact
-[More Information Needed]

 ---
 library_name: transformers
+datasets:
+- vilm/OpenOrca-Viet
+- bkai-foundation-models/vi-alpaca
+- 5CD-AI/Vietnamese-395k-meta-math-MetaMathQA-gg-translated
+- 5CD-AI/Vietnamese-Locutusque-function-calling-chatml-gg-translated
+- 5CD-AI/Vietnamese-1m5-kaist-CoT-gg-translated-unrefined
+- 5CD-AI/Vietnamese-mabryCodes-tiny-cot-alpaca-gg-translated
+- 5CD-AI/Vietnamese-nampdn-ai-tiny-webtext-gg-translated
+- 5CD-AI/Vietnamese-Openorca-Multiplechoice-gg-translated
+- 5CD-AI/Vietnamese-Multi-turn-Chat-Alpaca
+- 5CD-AI/Visocial-Instructions
 ---
+<div align="center">
+  <img src="viet-sailor-4b-logo.png" width="700"/>
+</div>
+[Sailor-4B](https://huggingface.co/sail/Sailor-4B) 🌊 is a model that has undergone additional pre-training on datasets from Southeast Asian countries 🌏, resulting in impressive performance 🚀. Building on this foundation, we have fine-tuned the model with a specific focus on Vietnamese language capabilities 🇻🇳.
+This is a good choice for models under 7B parameters on the VMLU leaderboard 📊.
+## Training details 📚
+The **1,000,000 samples** fine-tuning training dataset was meticulously sampled in part from the following datasets:
+- [OpenOrca-Viet 🐋](https://huggingface.co/datasets/vilm/OpenOrca-Viet)
+- [vi-alpaca 🦙](https://huggingface.co/datasets/bkai-foundation-models/vi-alpaca)
+- [Vietnamese-395k-meta-math-MetaMathQA-gg-translated 📐](https://huggingface.co/datasets/5CD-AI/Vietnamese-395k-meta-math-MetaMathQA-gg-translated)
+- [Vietnamese-Locutusque-function-calling-chatml-gg-translated 🧠](https://huggingface.co/datasets/5CD-AI/Vietnamese-Locutusque-function-calling-chatml-gg-translated)
+- [Vietnamese-1m5-kaist-CoT-gg-translated-unrefined 🧵](https://huggingface.co/datasets/5CD-AI/Vietnamese-1m5-kaist-CoT-gg-translated-unrefined)
+- [Vietnamese-mabryCodes-tiny-cot-alpaca-gg-translated 🧠](https://huggingface.co/datasets/5CD-AI/Vietnamese-mabryCodes-tiny-cot-alpaca-gg-translated)
+- [Vietnamese-nampdn-ai-tiny-webtext-gg-translated 🧠](https://huggingface.co/datasets/5CD-AI/Vietnamese-nampdn-ai-tiny-webtext-gg-translated)
+- [Vietnamese-Openorca-Multiplechoice-gg-translated 🐋](https://huggingface.co/datasets/5CD-AI/Vietnamese-Openorca-Multiplechoice-gg-translated)
+- [Vietnamese-Multi-turn-Chat-Alpaca 💬](https://huggingface.co/datasets/5CD-AI/Vietnamese-Multi-turn-Chat-Alpaca)
+- [Visocial-Instructions 💬](https://huggingface.co/datasets/5CD-AI/Visocial-Instructions)
+## Benchmarks 📈
+We evaluated our model using the VMLU leaderboard:
+<div align="center">
+  <img src="vmlu.png" width="1000"/>
+</div>
+| #  | MODEL                | CREATOR          | BASE MODEL          | STEM  | SOCIAL SCIENCE | HUMANITIES | OTHERS | AVG   |
+|----|----------------------|------------------|---------------------|-------|----------------|------------|--------|-------|
+| 1  | VNPTAI.IO-14B        | VNPT AI          | Qwen1.5-14B-Chat    | 51.64 | 61.75          | 58.09      | 54.51  | 55.83 |
+| 2  | SeaLLM-7B-v2.5       | DAMO Academy     | llama-2-7b          | 49.35 | 60.66          | 55.95      | 49.05  | 53.30 |
+| 3  | MI4uLLM-7B-Chat      | ML4U             | Mistral-7B-v0.1     | 44.72 | 58.69          | 56.86      | 52.36  | 52.08 |
+| 4  | Vistral-7B-Chat      | UONLP x Ontocord | Mistral-7B-v0.1     | 43.32 | 57.02          | 55.12      | 48.01  | 50.07 |
+| 5  | SDSRV-7B-chat        | SDSRV teams      | Mistral-7B-v0.1     | 36.29 | 60.55          | 55.95      | 49.05  | 48.55 |
+| 6  | Arcanic Cono 1.5     | Arcanic AI       | Mistral-7B-v0.1     | 45.11 | 52.44          | 51.97      | 45.36  | 47.45 |
+| 7  | SeaLLM-7b-v2         | DAMO Academy     | llama-2-7b          | 39.95 | 52.02          | 49.38      | 45.27  | 45.79 |
+| <b>8  | <b>Viet-Sailor-4B-Instruct | <b>5CD-AI        | <b>Sailor-4B       | <b>36.83 | <b>49.13 | <b>48.18   | <b>41.76 | <b>43.24</b> |
+| 9  | bloomz-7b1           | BigScience       | Bloom-7b1           | 32.63 | 45.73          | 41.85      | 39.89  | 38.87 |
+| 10 | T-llama-7b           | FPTU HCM         | llama-2-7b          | 32.2  | 43.15          | 40.31      | 36.57  | 37.28 |
+| 11 | vbd-llama2-7b-50b... | Vin BigData      | llama-2-7b          | 31.45 | 40.34          | 40.24      | 39.62  | 36.98 |
+| .. | ......               | .....             | ....               | ...   | ...            | ...        | ...    | ...   |
+## Examples
+Function-calling
+```
+<|im_start|>system
+Bạn là một trợ lý hữu ích với quyền truy cập vào các chức năng sau. Sử dụng chúng nếu cần thiết -{
+    "name": "search_movies",
+    "description": "Search for movies based on title or genre",
+    "parameters": {
+        "type": "object",
+        "properties": {
+            "title": {
+                "type": "string",
+                "description": "The title of the movie"
+            },
+            "genre": {
+                "type": "string",
+                "description": "The genre of the movie"
+            }
+        }
+    }
+}<|im_end|>
+<|im_start|>question
+Bạn có thể tìm cho tôi một bộ phim có tựa đề "Inception" được không?<|im_end|>
+<|im_start|>answer
+<function-call> {"name": "search_movies", "arguments": {"title": "Inception"}}<|im_end|>
+<|im_start|>question
+<function-response> {"movies": [{"title": "Inception", "genre": "Science Fiction", "director": "Christopher Nolan", "release_year": 2010}]}<|im_end|>
+<|im_start|>answer
+Tôi đã tìm thấy một bộ phim có tựa đề "Inception". Đó là một bộ phim Khoa học viễn tưởng của đạo diễn Christopher Nolan và được phát hành vào năm 2010.<|im_end|>
+```
+Sentiment analysis
+```
+<|im_start|>system
+Bạn là trợ lý AI hữu ích<|im_end|>
+<|im_start|>question
+Bạn là trợ lý AI. Hãy phân loại cảm xúc của bình luận sau theo từng khía cạnh của chủ thể.
+Bình luận: về cách ăn mặc của cô thì quá 😡 😡 . nhưng về cách nói chuyện thì rất 😍.<|im_end|>
+<|im_start|>answer
+Cảm xúc của bình luận này có thể được phân loại như sau:
+- Cảm xúc tiêu cực đối với cách ăn mặc của cô ấy: 😡
+- Cảm xúc tích cực đối với cách nói chuyện của cô ấy: 😍<|im_end|>
+```
+Simple math
+```
+<|im_start|>system
+Bạn là một trợ lý AI hữu ích. Một nhà toán học.<|im_end|>
+<|im_start|>question
+Trên sân có 2 con vịt và 9 con bò hỏi tổng cộng có mấy cái chân ?<|im_end|>
+<|im_start|>answer
+Tổng số chân trên sân là 11. Mỗi con vịt có 2 chân và mỗi con bò có 4 chân, vì vậy 2 con vịt có tổng cộng 2*2 = 4 chân và 9 con bò có tổng cộng 9*4 = 36 chân. Do đó, tổng số chân trên sân là 4+36 = 40.<|im_end|>
+```
+Writing
+```
+<|im_start|>system
+Bạn là một trợ lý AI hữu ích, trung thực, trung lập. Hãy trả lời một cách đầy đủ <|im_end|>
+<|im_start|>question
+Người dùng sẽ cung cấp cho bạn một nhiệm vụ. Hãy thực hiện lần lượt 2 nhiệm vụ sau:
+Bưới 1: Hãy mô tả ý nghĩa hình ảnh của chuỗi emoji 😡 👫 👨‍👩‍👦.
+Bước 2: Hãy tạo 1 câu chuyện ngắn kết hợp đầy đủ ý nghĩa giữa chúng với nhau.<|im_end|>
+<|im_start|>answer
+Bước 1: Mô tả ý nghĩa hình ảnh của chuỗi emoji 😡 👫 👨‍👩‍👦.
+Ý nghĩa hình ảnh của chuỗi emoji có thể được giải thích như sau:
+ - 😡: Biểu tượng cảm xúc này thường được sử dụng để thể hiện sự buồn bã, đau khổ hoặc thất vọng. Trong trường hợp này, nó có thể biểu thị rằng ai đó đang trải qua một số cảm xúc tiêu cực.
+ - 👫: Biểu tượng cảm xúc này thường được sử dụng để thể hiện tình yêu và sự quan tâm. Trong trường hợp này, nó có thể biểu thị rằng ai đó đang thể hiện tình yêu và sự quan tâm của họ đối với ai đó.
+ - 👨‍👩‍👦: Biểu tượng cảm xúc này thường được sử dụng để thể hiện tình yêu gia đình. Trong trường hợp này, nó có thể biểu thị rằng ai đó đang thể hiện tình yêu và sự quan tâm của họ đối với một thành viên trong gia đình.
+Bước 2: Tạo một câu chuyện ngắn kết hợp các biểu tượng cảm xúc với nhau.
+Câu chuyện:  Trong một thị trấn nhỏ, nơi mọi người đều biết nhau, có một gia đình hạnh phúc sống trong một ngôi nhà nhỏ xinh xắn. Cha mẹ yêu thương và chăm sóc con cái của mình rất nhiều. Một ngày nọ, họ nhận được tin dữ rằng đứa con út của họ đã qua đời vì một căn bệnh hiếm gặp. Cả gia đình đều đau buồn, đặc biệt là cha mẹ của đứa trẻ. Họ cố gắng vượt qua nỗi đau bằng cách dành thời gian bên nhau, ôm nhau và chia sẻ những ký ức đẹp đẽ về đứa con yêu dấu của họ.<|im_end|>
+```
+## Requirements
+The code of Sailor has been in the latest Hugging face transformers and we advise you to install `transformers>=4.37.0`.
+## Quickstart
+Here provides a code snippet to show you how to load the tokenizer and model and how to generate contents.
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer
+import torch
+device = "cuda"
+model = AutoModelForCausalLM.from_pretrained(
+    '5CD-AI/Viet-Sailor-4B-Instruct',
+    torch_dtype=torch.bfloat16,
+    device_map="auto"
+)
+tokenizer = AutoTokenizer.from_pretrained('5CD-AI/Viet-Sailor-4B-Instruct')
+system_prompt= 'Bạn là một trợ lý AI hữu ích, rất thực tế, trung lập. Hãy trả lời một cách đầy đủ ý'
+prompt = """Hãy phân loại cảm xúc của bình luận sau theo từng khía cạnh của chủ thể.
+Bình luận: về cách ăn mặc của cô thì quá 😡 😡 . nhưng về cách nói chuyện thì rất 😍."""
+messages = [
+    {"role": "system", "content": system_prompt},
+    {"role": "question", "content": prompt}
+]
+text = tokenizer.apply_chat_template(
+    messages,
+    tokenize=False,
+    add_generation_prompt=True
+)
+model_inputs = tokenizer([text], return_tensors="pt").to(device)
+input_ids = model_inputs.input_ids.to(device)
+generated_ids = model.generate(
+    input_ids,
+    max_new_tokens=256,
+    num_beams=3,
+    top_k=20,
+    top_p= 0.5,
+    temperature=0.9,
+    repetition_penalty = 1.5,
+    length_penalty = 1.0,
+    do_sample=True
+)
+generated_ids = [
+    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
+]
+response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
+print(response)
+```