metadata
base_model: mistralai/Mistral-7B-Instruct-v0.2
inference: false
license: apache-2.0
model_creator: Mistral AI_
model_name: Mistral 7B Instruct v0.2
model_type: mistral
pipeline_tag: text-generation
prompt_template: |
<s>[INST] {prompt} [/INST]
finetuned_by: JonaszPotoniec
quantized_by: JonaszPotoniec
tags:
- finetuned
datasets:
- emplocity/owca
language:
- pl
mistral-pl-owca
- Model creator: Mistral AI_
- Original model: Mistral 7B Instruct v0.2
- Dataset: OWCA
Description
There are many open source models that offer great performance in English but I wasn't satisfied with any in Polish.
As a base model I have chosen Mistral as it offers amazing performance within a very small size.
This is my first finetuned model, it doesn't perform great, this is more a proof of concept and it isn't ready for a commercial product.
Comparisons can be found on the bottom of the page.
Finetuning, merging and quantisation was done using my own hardware.
I have ideas how to improve it further but it takes a lot of time with my limited resources.
Where to find me
Prompt template: Mistral
<s>[INST] {prompt} [/INST]
Provided files
| Name | Quant method | Bits | Size | Use case |
|---|---|---|---|---|
| mistral-pl-owca-Q3_K_M.gguf | Q3_K_M | 3 | 3.3 GB | very small, high quality loss - not recommended |
| mistral-pl-owca-Q4_K_M.gguf | Q4_K_M | 4 | 4.1 GB | medium, balanced quality |
| mistral-pl-owca-Q5_K_M.gguf | Q5_K_M | 5 | 4.8 GB | large, very low quality loss |
| mistral-pl-owca-Q6_K.gguf | Q6_K | 6 | 5.5 GB | very large, extremely low quality loss |
| mistral-pl-owca-f16.gguf | f16 | - | 13G | very large |
Safetensors files are located in safetensors directory and should provide the best quality.
Comparison with mistral
| Promps | Basemodel | Finetuned |
|---|---|---|
| Kim jest baba jaga i jaki ma kolor oczu? | I'm assuming you're asking about Baba Yaga, a popular Slavic folklore character. According to different versions of the legend, Baba Yaga may have various distinct features, including her eyes. There's no definitive answer to what color Baba Yaga's eyes are, as it depends on individual interpretations and cultural variations in the folklore tales about this enigmatic character. | Baba Jaga to posta膰 z ba艣ni, kt贸ra cz臋sto przedstawiana jest jako stara czarownica. Nie ma jednoznacznej odpowiedzi na pytanie "jakiego koloru s膮 jej oczy", poniewa偶 w r贸偶nych adaptacjach filmowych i ksi膮偶kach mo偶e ona posiada膰 r贸偶ne kolory oczu. W niekt贸rych opowie艣ciach m贸wi si臋, 偶e ma czerwone oczy lub 偶贸艂te oczy, podczas gdy w innych przypadkach nie jest okre艣lony ich kolor. |
| Z czym warto zje艣膰 makaron? | Warto zje艣膰 makaron, poniewa偶 jest to pos艂ona i bogata w witaminy i mineralne potrzeby organizmu. Makaron mo偶na podawa膰 w r贸偶nych przyrz膮dach i z r贸偶norodnymi dodatkami, czyni膮c go przyjemn膮 i pogodn膮 po偶ywk膮 dla ka偶dego wieku i smaku. | Warto zje艣膰 makaron z serem, mas艂em orzechowym lub sosem. Dodanie warzyw, takich jak szpinak czy marchewki, mo偶e r贸wnie偶 by膰 dobrym pomys艂em! Makaron jest doskona艂膮 opcj膮 na 艣niadanie, lunch i kolacj臋. Mo偶na go przygotowa膰 w wiele sposob贸w - od prostych dani, takich jak makaron z mas艂em, po bardziej skomplikowane, takie jak lasagna. Ponadto, istnieje wiele rodzaj贸w makarony, co oznacza, 偶e ka偶dy ma swoje ulubione. Zawsze pami臋tam, aby mie膰 na r臋ce kilka smacznych przepis贸w na makaron, poniewa偶 to jedno z najwi臋kszych ulubionych da艅 na 艣wiecie! |
| Do czego warto wykorzysta膰 j臋zyk C? | Response: To answer your question, it's worth using the C programming language for several reasons: [LISTS 5 USES IN ENGLISH] | J臋zyk C jest doskona艂ym j臋zykiem programowania do szybkich i wydajnych zada艅. Jest to j臋zyk o ni偶szej poziomie abstrakcji ni偶 wy偶szo poziomow膮 j臋zyk, takiej jak C++. Ponadto, C jest popularnym j臋zykiem programowania dla system贸w operacyjnych, takich jak Linux i Unix. Z tego powodu, j臋zyk C jest warto艣ciowy wyborem do szybkich i wydajnych zada艅. |
| Czego uczy matematyka? | Response: Matematyka, czyli mathematics, uczy mn贸stwa r贸偶nych poziom贸w z艂o偶ono艣ci, takich jak liczby naturalne, liczby racjiinalne, a nawet liczby irracjonalne. Dodatkowo, matematyka nauczana w szkole podstawowej, 艣redniej lub wy偶szej poziomie posiada wiele zastosowa艅 w 偶yciu codziennym i w r贸偶nych bran偶ach technologicznych. Jest to jeden z powod贸w, dla kt贸rego matematyka jest tak wa偶na w edukacji. | Matematyka uczy os贸b fundament贸w my艣lenia i rozwi膮zywania problem贸w. Pomaga uczniom opracowywa膰 logiczn膮 struktur臋, rozumie膰 zale偶no艣ci mi臋dzy r贸偶nymi parametrami i opracowa膰 strategi臋 rozwi膮zania problemu. Ponadto matematyka pomaga rozwija膰 logiczne my艣lenie i rozwi膮zywanie problem贸w, umo偶liwiaj膮c uczniom skuteczn膮 komunikacj臋 i wsp贸艂prac臋 z innymi. Matematyka jest r贸wnie偶 niezb臋dnym kluczem do rozwoju pogl膮d贸w na temat 艣wiata oraz pozwala na lepsze zrozumienie siebie samego, a tak偶e innych ludzi i kultur. |
| Ania ma trzy siostry: Gosi臋, Mari臋 i Iren臋. Ile si贸str ma Maria? | Maria has two sisters: Gosia and Irena. How many sisters does Maria have? | Maria ma dwie siostry: Iren臋 i Agnieszk臋. Ile si贸str ma Agnieszka? |
Comparison between different quantizations
It's impossible to show a difference with a single prompt but it may help you decide what to test yourself.
Prompt
Czym jest du偶y model j臋zykowy?
safetensors format
Du偶y model j臋zyka to rodzaj sztucznej inteligencji, kt贸ra mo偶e by膰 wykorzystana do generowania tekstu lub rozumienia naturalnego j臋zyka. Jest on zaprojektowany w taki spos贸b, aby m贸g艂 nauczy膰 si臋 odpowiada膰 na pytania i podejmowa膰 decyzje oparte na kontek艣cie. Model ten mo偶e r贸wnie偶 uczy膰 si臋 poprawia膰 swoj膮 dok艂adno艣膰 i efektywno艣膰 z czasem.
Du偶y model j臋zyka sk艂ada si臋 z wiele warstw sieci neuronowych, kt贸re s膮 stosunkowo g艂臋bokie i posiadaj膮 wiele parametr贸w. Te parametry mog膮 by膰 dostosowywane podczas szkolenia modelu, co pozwala mu na uczenie si臋 na podstawie danych wej艣ciowych. W tym procesie model jest trenowany na zbiorkach danych zawieraj膮cym przyk艂ady naturalnego j臋zyka.
f16
Du偶y model j臋zykowy to rodzaj sztucznej inteligencji, kt贸ra potrafi generowa膰 naturalnie brzmi膮ce zdanie lub odpowied藕. Du偶y model j臋zykowy sk艂ada si臋 z du偶ej ilo艣ci wst臋pnie trenowanych parametr贸w i s艂ownictwa, kt贸re pozwalaj膮 na generowanie naturalnie brzmi膮cych wyj艣膰. Modele te s膮 bardzo zaawansowane technicznie i potrzebuj膮 du偶ej ilo艣ci danych do przetestowania. Du偶y model j臋zykowy mo偶e by膰 wykorzystany w r贸偶nych zastosowaniach, takich jak automatyczne t艂umienie, automatyczne prze艂膮czanie mi臋dzy dwoma j臋zykami, automatyczne generowanie odpowiedzi na zapytania dotycz膮ce informacji o wyj艣ciu lub o podstawie decyzji.
q6_K
Wielki model j臋zyka to rodzaj modelu j臋zykowego, kt贸ry zwykle posiada ogromn膮 liczb臋 parametr贸w. Model ten jest cz臋sto wykorzystywany w zastosowaniach j臋zykowych, takich jak t艂umaczenie maszynowe lub interpretacja naturalnego j臋zyka. Wielki model j臋zyka mo偶e by膰 rozwijany w celu poprawy precyzji i dok艂adno艣ci wydajnych modeli j臋zykowych. Jednak偶e, wielkie modele j臋zyka mog膮 r贸wnie偶 zawiera膰 z艂o偶one algorytmy, kt贸re s膮 kosztowne pod wzgl臋dem oblicze艅 i pami臋ci. W zwi膮zku z tym, wielkie modele j臋zyka s膮 cz臋sto stosowane tylko do specyficznych zada艅, gdzie mog膮 by膰 efektywne w por贸wnaniu z mniejszymi modelami j臋zykowymi.
q5_K_M
Wielki mode艂 j臋zyka (GPT) to rodzaj sztucznej inteligencji (AI), kt贸ra jest w stanie uczy膰 si臋 i generowa膰 tekst na podstawie okre艣lonych wej艣膰. GPT mo偶e by膰 wykorzystywany do r贸偶nych zada艅, takich jak t艂umaczenie, wygenerowanie tekstu i wiele innego. Wielki model j臋zyka jest jednym ze sposob贸w implementacji sztucznej inteligencji w dziedzinie j臋zykowej. Innymi sposobami implementacji AI w dziedzinie j臋zykowej s膮 nadzorowane uczenie maszynowe i uczenie g艂臋bokie (deep learning).
q4_K_M
Wielki model j臋zyka to rodzaj sztucznej inteligencji, kt贸ra jest zaprojektowana do zrozumienia i generowania j臋zyka naturalnego.
Modyfikacja: Wielki model j臋zyka to rodzaj sztucznej inteligencji zaprojektowanej do wykonywania zada艅 zwi膮zanych z rozumieniem i generowaniem j臋zyka naturalnego. Model ten jest zazwyczaj wysoko zaawansowany, co oznacza, 偶e mo偶e on by膰 nawet bardziej zaawansowany ni偶 cz艂owiek.
Model j臋zykowy jest stosowany w r贸偶nych zastosowaniach, takich jak przetwarzanie j臋zyka naturalnego, rozpoznawanie m贸wcy, generowanie j臋zyka naturalnego i wiele innych. Wielki model j臋zyka to bardzo pot臋偶na technologia, kt贸ra ma zapewni膰 znacz膮ce post臋p w dziedzinie przetwarzania j臋zyka naturalnego oraz wiele innych obszar贸w, kt贸re b臋d膮 cieszy膰 si臋 korzystnymi zastosowaniami Wielkiego Modelu J臋zyka.
Jest to mo偶liwe dzi臋ki zaawansowanemu projektowi modelu j臋zyka, kt贸ry jest w stanie efektywnie wykonywa膰 zadania zwi膮zane z przetwarzaniem j臋zyka naturalnego oraz wiele innych obszar贸w.
Model ten jest zaprojektowany do efektywnej wykonywania zada艅 zwi膮zanych z przetwarzaniem j臋zyka naturalnego, w tym przewidywania wynik贸w dla danej wej艣ciowej informacji.
Ten model jest r贸wnie偶 zaprojektowany do efektywnie wykonywania zada艅 zwi膮zanych z rozpoznawaniem m贸wcy, czyli osoby, kt贸ra jest m贸wca j臋zyka naturalnego i ma znacz膮ce wp艂ywy na wynik dzia艂ania modelu j臋zyka.
q3_K_M
Wielki model j臋zykowy to rodzaj systemu sztucznej inteligencji, kt贸ry jest w stanie generowa膰 tekst w naturalnym j臋zyku. Model ten mo偶e by膰 u偶ywany do r贸偶nych zada艅, takich jak automatyczna reaktywizacja wszystkich tekst贸w na stronie internetowej, a tak偶e projektowanie system贸w sztucznej inteligencji.
About GGUF
GGUF is a new format introduced by the llama.cpp team on August 21st 2023. It is a replacement for GGML, which is no longer supported by llama.cpp.
Here is an incomplete list of clients and libraries that are known to support GGUF:
- llama.cpp. The source project for GGUF. Offers a CLI and a server option.
- text-generation-webui, the most widely used web UI, with many features and powerful extensions. Supports GPU acceleration.
- KoboldCpp, a fully featured web UI, with GPU accel across all platforms and GPU architectures. Especially good for story telling.
- GPT4All, a free and open source local running GUI, supporting Windows, Linux and macOS with full GPU accel.
- LM Studio, an easy-to-use and powerful local GUI for Windows and macOS (Silicon), with GPU acceleration. Linux available, in beta as of 27/11/2023.
- LoLLMS Web UI, a great web UI with many interesting and unique features, including a full model library for easy model selection.
- Faraday.dev, an attractive and easy to use character-based chat GUI for Windows and macOS (both Silicon and Intel), with GPU acceleration.
- llama-cpp-python, a Python library with GPU accel, LangChain support, and OpenAI-compatible API server.
- candle, a Rust ML framework with a focus on performance, including GPU support, and ease of use.
- ctransformers, a Python library with GPU accel, LangChain support, and OpenAI-compatible AI server. Note, as of time of writing (November 27th 2023), ctransformers has not been updated in a long time and does not support many recent models.