Create app.py

app.py

@@ -0,0 +1,273 @@
+from Prompter import Prompter
+from Callback import Stream, Iteratorize
+import os
+import sys
+
+import gradio as gr
+import torch
+import transformers
+from peft import PeftModel
+from transformers import GenerationConfig, LlamaForCausalLM, LlamaTokenizer
+import pandas as pd
+import numpy as np
+
+if torch.cuda.is_available():
+    device = "cuda"
+else:
+    device = "cpu"
+
+try:
+    if torch.backends.mps.is_available():
+        device = "mps"
+except:  # noqa: E722
+    pass
+
+base_model = "openthaigpt/openthaigpt-1.0.0-beta-7b-chat-ckpt-hf"
+load_8bit = True
+# lora_weights = "PLatonG/openthaigpt-1.0.0-beta-7b-expert-recommendations"
+lora_weights = "PLatonG/openthaigpt-1.0.0-beta-7b-expert-recommendations"
+prompter = Prompter("alpaca")
+tokenizer = LlamaTokenizer.from_pretrained(base_model)
+
+model = LlamaForCausalLM.from_pretrained(
+          base_model,
+          load_in_8bit=load_8bit,
+          torch_dtype=torch.float16,
+          device_map="auto",
+          offload_folder = "./offload"
+      )
+model = PeftModel.from_pretrained(
+    model,
+    lora_weights,
+    torch_dtype=torch.float16,
+    offload_folder = "./offload"
+)
+
+# unwind broken decapoda-research config
+model.config.pad_token_id = tokenizer.pad_token_id = 0  # unk
+model.config.bos_token_id = 1
+model.config.eos_token_id = 2
+
+if not load_8bit:
+    model.half()  # seems to fix bugs for some users.
+
+model.eval()
+if torch.__version__ >= "2" and sys.platform != "win32":
+    model = torch.compile(model)
+
+def evaluate(
+    instruction,
+    input=None,
+    stream_output=False,
+    **kwargs,
+):
+    temperature=0.5
+    top_p=0.75
+    top_k=40
+    num_beams=4
+    max_new_tokens=380
+
+    prompt = prompter.generate_prompt(instruction, input)
+    inputs = tokenizer(prompt, return_tensors="pt")
+    input_ids = inputs["input_ids"].to(device)
+    generation_config = GenerationConfig(
+        temperature=temperature,
+        top_p=top_p,
+        top_k=top_k,
+        num_beams=num_beams,
+        **kwargs,
+    )
+
+    generate_params = {
+        "input_ids": input_ids,
+        "generation_config": generation_config,
+        "return_dict_in_generate": True,
+        "output_scores": True,
+        "max_new_tokens": max_new_tokens,
+    }
+
+    if stream_output:
+        # Stream the reply 1 token at a time.
+        # This is based on the trick of using 'stopping_criteria' to create an iterator,
+        # from https://github.com/oobabooga/text-generation-webui/blob/ad37f396fc8bcbab90e11ecf17c56c97bfbd4a9c/modules/text_generation.py#L216-L243.
+
+        def generate_with_callback(callback=None, **kwargs):
+            kwargs.setdefault(
+                "stopping_criteria", transformers.StoppingCriteriaList()
+            )
+            kwargs["stopping_criteria"].append(
+                Stream(callback_func=callback)
+            )
+            with torch.no_grad():
+                model.generate(**kwargs)
+
+        def generate_with_streaming(**kwargs):
+            return Iteratorize(
+                generate_with_callback, kwargs, callback=None
+            )
+
+        with generate_with_streaming(**generate_params) as generator:
+            for output in generator:
+                # new_tokens = len(output) - len(input_ids[0])
+                decoded_output = tokenizer.decode(output)
+
+                if output[-1] in [tokenizer.eos_token_id]:
+                    break
+
+                yield prompter.get_response(decoded_output)
+        return  # early return for stream_output
+
+    # Without streaming
+    with torch.no_grad():
+        generation_output = model.generate(
+            input_ids=input_ids,
+            generation_config=generation_config,
+            return_dict_in_generate=True,
+            output_scores=True,
+            max_new_tokens=max_new_tokens,
+        )
+    s = generation_output.sequences[0]
+    output = tokenizer.decode(s)
+    yield prompter.get_response(output)
+
+
+# From SMOTE with 4 neightbor
+fourNSMOTE = pd.read_csv("FILTER_GREATERTHANTHREE_FROM_SHEETS_SMOTE_train.csv")
+
+with gr.Blocks() as demo:
+    birth_year = gr.components.Number(minimum = 2536, maximum = 2567, value= 2545,
+                            label="ปีเกิด",
+                            info="ต่ำสุด : 2536 สูงสุด : 2567")
+    nationality_name = gr.components.Dropdown(choices=fourNSMOTE.NATIONALITY_NAME.unique().tolist(),
+                            label="สัญชาติ",
+                            value = fourNSMOTE.NATIONALITY_NAME.unique().tolist()[0])
+    religion_name = gr.components.Dropdown(choices=fourNSMOTE.RELIGION_NAME.unique().tolist(),
+                            label="ศาสนา",
+                            value = fourNSMOTE.RELIGION_NAME.unique().tolist()[0])
+    sex = gr.components.Dropdown(choices=fourNSMOTE.JVN_SEX.unique().tolist(),
+                                            label="เพศ",
+                                            value = fourNSMOTE.JVN_SEX.unique().tolist()[0])
+    inform_status = gr.components.Dropdown(choices=fourNSMOTE.INFORM_STATUS_TXT.unique().tolist(),
+                            label="เหตุที่นำมาสู่การดำเนินคดี",
+                            value = fourNSMOTE.INFORM_STATUS_TXT.unique().tolist()[0])
+    age = gr.components.Number(minimum = 10, maximum = 19, value= 17,
+                            label="อายุตอนกระทำผิด",
+                            info="ต่ำสุด : 10 ปี สูงสุด : 19")
+
+    offense_name = gr.components.Dropdown(choices=fourNSMOTE.OFFENSE_NAME.unique().tolist(),
+                                label="คดีที่กระทำผิด",
+                                value = fourNSMOTE.OFFENSE_NAME.unique().tolist()[0])
+
+    ref_value = fourNSMOTE.OFFENSE_NAME.unique().tolist()[0]
+
+    allegation_name = gr.components.Dropdown(choices=fourNSMOTE.ALLEGATION_NAME.unique().tolist(), label="ชื่อของข้อกล่าวหา",
+                               value = fourNSMOTE.query("OFFENSE_NAME == @ref_value")["ALLEGATION_NAME"].unique().tolist()[0])
+
+    allegation_desc = gr.components.Dropdown(choices=fourNSMOTE.ALLEGATION_DESC.unique().tolist(), label="รายละเอียดของข้อกล่าวหา",
+                               value = fourNSMOTE.query("OFFENSE_NAME == @ref_value")["ALLEGATION_DESC"].unique().tolist()[0])
+
+    def update_dropDown(value):
+        query_state = fourNSMOTE.query("OFFENSE_NAME == @value")
+        allegation_name = gr.components.Dropdown(choices=query_state["ALLEGATION_NAME"].unique().tolist())
+        allegation_desc = gr.components.Dropdown(choices=query_state["ALLEGATION_DESC"].unique().tolist())
+        return allegation_name, allegation_desc
+
+    offense_name.change(fn=update_dropDown, inputs=offense_name, outputs=[allegation_name, allegation_desc])
+    
+    rn1 = gr.components.Radio(choices=["ถูก", "ผิด"],
+                            label="ปรากฎลักษณะนิสัย/พฤติกรรมที่ไม่เหมาะสมของบุคคลในครอบครัวและบุคคลที่เด็ก/เยาวชนอาศัยอยู่",
+                            value="ถูก")
+    rn2 = gr.components.Radio(choices=["ถูก", "ผิด"],
+                            label="ปรากฎประวัติการกระทำผิดของบุคคลในครอบครัวและบุคคลที่เด็ก/เยาวชนอาศัยอยู่ด้วย",
+                            value = "ถูก")
+    rn3 = gr.components.Radio(choices=["ถูก", "ผิด"],
+                            label="ปรากฎประวัติการเกี่ยวข้องกับยาเสพติดของบุคคลในครอบครัว",
+                            value = "ถูก")
+    
+    education = gr.components.Dropdown(choices=fourNSMOTE.RN3_14_HIS_EDU_FLAG.unique().tolist(),
+                            label="สถาณะการศึกษา",
+                            value = fourNSMOTE.RN3_14_HIS_EDU_FLAG.unique().tolist()[0])
+    occupation = gr.components.Dropdown(choices=fourNSMOTE.RN3_19_OCCUPATION_STATUS.unique().tolist(),
+                            label="สถาณะการประกอบอาชีพ",
+                            value = fourNSMOTE.RN3_19_OCCUPATION_STATUS.unique().tolist()[0])
+    province = gr.components.Dropdown(choices=fourNSMOTE.PROVINCE_NAME.unique().tolist(),
+                            label="จังหวัดที่กระทำผิด",
+                            value = fourNSMOTE.PROVINCE_NAME.unique().tolist()[0])
+
+
+    def generate_input(birth_year, nationality_name, religion_name, sex,
+                           inform_status, age, offense_name, allegation_name,
+                           allegation_desc, rn1, rn2, rn3, education, occupation, province):
+
+      birth_year = f"เกิดเมื่อปี พ.ศ. {int(birth_year)}"
+
+      if int(age) >= 10 or int(age) <=15:
+        age = f"มีอายุอยู่ในช่วง 10 ถึง 15 ปี"
+      elif int(age) >=16 or int(age) <= 20:
+        age = f"มีอายุอยู่ในช่วง 16 ถึง 20 ปี"
+      elif int(age) >=21 or int(age) <= 25:
+        age = f"มีอายุอยู่ในช่วง 21 ถึง 25 ปี"
+      elif int(age) >=26:
+        age = f"มีอายุอยู่ในช่วง 26 ปีขึ้นไป"
+
+      if rn1 == "ถูก":
+        rn1 = "มีลักษณะนิสัย/พฤติกรรมที่ไม่เหมาะสมของบุคคลในครอบครัวและบุคคลที่เด็ก/เยาวชนอาศัยอยู่"
+      else:
+        rn1 = "ไม่มีลั��ษณะนิสัย/พฤติกรรมที่ไม่เหมาะสมของบุคคลในครอบครัวและบุคคลที่เด็ก/เยาวชนอาศัยอยู่"
+
+      if rn2 == "ถูก":
+        rn2 = "มีประวัติการกระทำผิดของบุคคลในครอบครัวและบุคคลที่เด็ก/เยาวชนอาศัยอยู่ด้วย"
+      else:
+        rn2 = "ไม่มีประวัติการกระทำผิดของบุคคลในครอบครัวและบุคคลที่เด็ก/เยาวชนอาศัยอยู่ด้วย"
+
+      if rn3 == "ถูก":
+        rn3 = "มีประวัติการเกี่ยวข้องกับยาเสพติดของบุคคลในครอบครัว"
+      else:
+        rn3 = "ไม่มีประวัติการเกี่ยวข้องกับยาเสพติดของบุคคลในครอบครัว"
+
+      instruciton = "จงสร้างคำแนะนำของผู้เชี่ยวชาญจากปัจจัยดังต่อไปนี้"
+      input = f"{birth_year} {nationality_name} {religion_name} {sex} {inform_status} {age} {offense_name} {allegation_name} {allegation_desc} {rn1} {rn2} {rn3} {education} {occupation} {province}"
+
+      
+      return input
+
+    def generate_output(instruction, input):
+      
+      return input
+
+
+    def generate_input2(*values):
+      return "คำสั่ง : จงสร้างคำแนะนำของผู้เชี่ยวชาญจากปัจจัยดังต่อไปนี้ " + " ".join(str(value) for value in values)
+
+
+
+    instruction = gr.Textbox(label = "คำสั่ง", value="จงสร้างคำแนะนำของผู้เชี่ยวชาญจากปัจจัยดังต่อไปนี้", visible=True, interactive=False)
+    input_compo = gr.Textbox(label = "ข้อมูลเข้า (input)")
+    outputModel = gr.Textbox(label= "ผลลัพธ์ (output)")
+    stream_output = gr.components.Checkbox(label="Stream output")
+
+
+    btn1 = gr.Button("GENERATE INPUT")
+
+    # show input text format for user
+    btn1.click(fn=generate_input, inputs=[birth_year, nationality_name, religion_name, sex,
+                           inform_status, age, offense_name, allegation_name,
+                           allegation_desc, rn1, rn2, rn3, education, occupation, province],
+              outputs=input_compo)
+    
+    btn2 = gr.Button("GENERATE OUTPUT")
+    btn2.click(fn=evaluate, inputs=[instruction, input_compo, stream_output], outputs=outputModel)
+
+    # outputChatInterface = gr.ChatInterface(fn=evaluate)
+
+
+
+    # input text format for model
+    # btn.click(fn=generate_text_test2, inputs = [birth_year, nationality_name, religion_name, sex,
+    #                                             inform_status, age, offense_name, allegation_name,
+    #                                             allegation_desc, rn1, rn2, rn3, education, occupation, province],
+    #                                   outputs = input_compo)
+
+
+
+demo.launch(debug=True, share=True)