File size: 13,396 Bytes
fc0baa4
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
f60620a
fc0baa4
4c4ae7f
fc0baa4
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
5f3635d
fc0baa4
 
5f3635d
fc0baa4
 
 
 
5f3635d
fc0baa4
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
from Prompter import Prompter
from Callback import Stream, Iteratorize
import os
import sys

import gradio as gr
import torch
import transformers
from peft import PeftModel
from transformers import GenerationConfig, LlamaForCausalLM, LlamaTokenizer
import pandas as pd
import numpy as np

if torch.cuda.is_available():
    device = "cuda"
else:
    device = "cpu"

try:
    if torch.backends.mps.is_available():
        device = "mps"
except:  # noqa: E722
    pass

base_model = "openthaigpt/openthaigpt-1.0.0-beta-7b-chat-ckpt-hf"
load_8bit = True
# lora_weights = "PLatonG/openthaigpt-1.0.0-beta-7b-expert-recommendations"
lora_weights = "PLatonG/openthaigpt-1.0.0-beta-7b-expert-recommendations"
prompter = Prompter("alpaca")
tokenizer = LlamaTokenizer.from_pretrained(base_model)

model = LlamaForCausalLM.from_pretrained(
          base_model,
          load_in_8bit=load_8bit,
          torch_dtype=torch.float16,
          device_map="auto",
          offload_folder = "./offload"
      )
model = PeftModel.from_pretrained(
    model,
    lora_weights,
    torch_dtype=torch.float16,
    offload_folder = "./offload"
)

# unwind broken decapoda-research config
model.config.pad_token_id = tokenizer.pad_token_id = 0  # unk
model.config.bos_token_id = 1
model.config.eos_token_id = 2

if not load_8bit:
    model.half()  # seems to fix bugs for some users.

model.eval()
if torch.__version__ >= "2" and sys.platform != "win32":
    model = torch.compile(model)

def evaluate(
    instruction,
    input=None,
    stream_output=False,
    **kwargs,
):
    temperature=0.5
    top_p=0.75
    top_k=40
    num_beams=4
    max_new_tokens=380

    prompt = prompter.generate_prompt(instruction, input)
    inputs = tokenizer(prompt, return_tensors="pt")
    input_ids = inputs["input_ids"].to(device)
    generation_config = GenerationConfig(
        temperature=temperature,
        top_p=top_p,
        top_k=top_k,
        num_beams=num_beams,
        **kwargs,
    )

    generate_params = {
        "input_ids": input_ids,
        "generation_config": generation_config,
        "return_dict_in_generate": True,
        "output_scores": True,
        "max_new_tokens": max_new_tokens,
    }

    if stream_output:
        # Stream the reply 1 token at a time.
        # This is based on the trick of using 'stopping_criteria' to create an iterator,
        # from https://github.com/oobabooga/text-generation-webui/blob/ad37f396fc8bcbab90e11ecf17c56c97bfbd4a9c/modules/text_generation.py#L216-L243.

        def generate_with_callback(callback=None, **kwargs):
            kwargs.setdefault(
                "stopping_criteria", transformers.StoppingCriteriaList()
            )
            kwargs["stopping_criteria"].append(
                Stream(callback_func=callback)
            )
            with torch.no_grad():
                model.generate(**kwargs)

        def generate_with_streaming(**kwargs):
            return Iteratorize(
                generate_with_callback, kwargs, callback=None
            )

        with generate_with_streaming(**generate_params) as generator:
            for output in generator:
                # new_tokens = len(output) - len(input_ids[0])
                decoded_output = tokenizer.decode(output)

                if output[-1] in [tokenizer.eos_token_id]:
                    break

                yield prompter.get_response(decoded_output)
        return  # early return for stream_output

    # Without streaming
    with torch.no_grad():
        generation_output = model.generate(
            input_ids=input_ids,
            generation_config=generation_config,
            return_dict_in_generate=True,
            output_scores=True,
            max_new_tokens=max_new_tokens,
        )
    s = generation_output.sequences[0]
    output = tokenizer.decode(s)
    yield prompter.get_response(output)


# From SMOTE with 4 neightbor
fourNSMOTE = pd.read_csv("FILTER_GREATERTHANTHREE_FROM_SHEETS_SMOTE_train.csv")

with gr.Blocks() as demo:
    birth_year = gr.components.Number(minimum = 2536, maximum = 2557, value= 2545,
                            label="ปีเกิด",
                            info="ต่ำสุด : 2536 สูงสุด : 2557")
    nationality_name = gr.components.Dropdown(choices=fourNSMOTE.NATIONALITY_NAME.unique().tolist(),
                            label="สัญชาติ",
                            value = fourNSMOTE.NATIONALITY_NAME.unique().tolist()[0])
    religion_name = gr.components.Dropdown(choices=fourNSMOTE.RELIGION_NAME.unique().tolist(),
                            label="ศาสนา",
                            value = fourNSMOTE.RELIGION_NAME.unique().tolist()[0])
    sex = gr.components.Dropdown(choices=fourNSMOTE.JVN_SEX.unique().tolist(),
                                            label="เพศ",
                                            value = fourNSMOTE.JVN_SEX.unique().tolist()[0])
    inform_status = gr.components.Dropdown(choices=fourNSMOTE.INFORM_STATUS_TXT.unique().tolist(),
                            label="เหตุที่นำมาสู่การดำเนินคดี",
                            value = fourNSMOTE.INFORM_STATUS_TXT.unique().tolist()[0])
    age = gr.components.Number(minimum = 10, maximum = 19, value= 17,
                            label="อายุตอนกระทำผิด",
                            info="ต่ำสุด : 10 ปี สูงสุด : 19")

    offense_name = gr.components.Dropdown(choices=fourNSMOTE.OFFENSE_NAME.unique().tolist(),
                                label="คดีที่กระทำผิด",
                                value = fourNSMOTE.OFFENSE_NAME.unique().tolist()[0])

    ref_value = fourNSMOTE.OFFENSE_NAME.unique().tolist()[0]

    allegation_name = gr.components.Dropdown(choices=fourNSMOTE.ALLEGATION_NAME.unique().tolist(), label="ชื่อของข้อกล่าวหา",
                               value = fourNSMOTE.query("OFFENSE_NAME == @ref_value")["ALLEGATION_NAME"].unique().tolist()[0])

    allegation_desc = gr.components.Dropdown(choices=fourNSMOTE.ALLEGATION_DESC.unique().tolist(), label="รายละเอียดของข้อกล่าวหา",
                               value = fourNSMOTE.query("OFFENSE_NAME == @ref_value")["ALLEGATION_DESC"].unique().tolist()[0])

    def update_dropDown(value):
        query_state = fourNSMOTE.query("OFFENSE_NAME == @value")
        allegation_name = gr.components.Dropdown(choices=query_state["ALLEGATION_NAME"].unique().tolist())
        allegation_desc = gr.components.Dropdown(choices=query_state["ALLEGATION_DESC"].unique().tolist())
        return allegation_name, allegation_desc

    offense_name.change(fn=update_dropDown, inputs=offense_name, outputs=[allegation_name, allegation_desc])
    
    rn1 = gr.components.Radio(choices=["ถูก", "ผิด"],
                            label="ปรากฎลักษณะนิสัย/พฤติกรรมที่ไม่เหมาะสมของบุคคลในครอบครัวและบุคคลที่เด็ก/เยาวชนอาศัยอยู่",
                            value="ถูก")
    rn2 = gr.components.Radio(choices=["ถูก", "ผิด"],
                            label="ปรากฎประวัติการกระทำผิดของบุคคลในครอบครัวและบุคคลที่เด็ก/เยาวชนอาศัยอยู่ด้วย",
                            value = "ถูก")
    rn3 = gr.components.Radio(choices=["ถูก", "ผิด"],
                            label="ปรากฎประวัติการเกี่ยวข้องกับยาเสพติดของบุคคลในครอบครัว",
                            value = "ถูก")
    
    education = gr.components.Dropdown(choices=fourNSMOTE.RN3_14_HIS_EDU_FLAG.unique().tolist(),
                            label="สถาณะการศึกษา",
                            value = fourNSMOTE.RN3_14_HIS_EDU_FLAG.unique().tolist()[0])
    occupation = gr.components.Dropdown(choices=fourNSMOTE.RN3_19_OCCUPATION_STATUS.unique().tolist(),
                            label="สถาณะการประกอบอาชีพ",
                            value = fourNSMOTE.RN3_19_OCCUPATION_STATUS.unique().tolist()[0])
    province = gr.components.Dropdown(choices=fourNSMOTE.PROVINCE_NAME.unique().tolist(),
                            label="จังหวัดที่กระทำผิด",
                            value = fourNSMOTE.PROVINCE_NAME.unique().tolist()[0])


    def generate_input(birth_year, nationality_name, religion_name, sex,
                           inform_status, age, offense_name, allegation_name,
                           allegation_desc, rn1, rn2, rn3, education, occupation, province):

      birth_year = f"เกิดเมื่อปี พ.ศ. {int(birth_year)}"

      if int(age) >= 10 or int(age) <=15:
        age = f"มีอายุอยู่ในช่วง 10 ถึง 15 ปี"
      elif int(age) >=16 or int(age) <= 20:
        age = f"มีอายุอยู่ในช่วง 16 ถึง 20 ปี"
      elif int(age) >=21 or int(age) <= 25:
        age = f"มีอายุอยู่ในช่วง 21 ถึง 25 ปี"
      elif int(age) >=26:
        age = f"มีอายุอยู่ในช่วง 26 ปีขึ้นไป"

      if rn1 == "ถูก":
        rn1 = "มีลักษณะนิสัย/พฤติกรรมที่ไม่เหมาะสมของบุคคลในครอบครัวและบุคคลที่เด็ก/เยาวชนอาศัยอยู่"
      else:
        rn1 = "ไม่มีลักษณะนิสัย/พฤติกรรมที่ไม่เหมาะสมของบุคคลในครอบครัวและบุคคลที่เด็ก/เยาวชนอาศัยอยู่"

      if rn2 == "ถูก":
        rn2 = "มีประวัติการกระทำผิดของบุคคลในครอบครัวและบุคคลที่เด็ก/เยาวชนอาศัยอยู่ด้วย"
      else:
        rn2 = "ไม่มีประวัติการกระทำผิดของบุคคลในครอบครัวและบุคคลที่เด็ก/เยาวชนอาศัยอยู่ด้วย"

      if rn3 == "ถูก":
        rn3 = "มีประวัติการเกี่ยวข้องกับยาเสพติดของบุคคลในครอบครัว"
      else:
        rn3 = "ไม่มีประวัติการเกี่ยวข้องกับยาเสพติดของบุคคลในครอบครัว"

      instruciton = "จงสร้างคำแนะนำของผู้เชี่ยวชาญจากปัจจัยดังต่อไปนี้"
      input = f"{birth_year} {nationality_name} {religion_name} {sex} {inform_status} {age} {offense_name} {allegation_name} {allegation_desc} {rn1} {rn2} {rn3} {education} {occupation} {province}"

      
      return input

    def generate_output(instruction, input):
      
      return input


    def generate_input2(*values):
      return "คำสั่ง : จงสร้างคำแนะนำของผู้เชี่ยวชาญจากปัจจัยดังต่อไปนี้ " + " ".join(str(value) for value in values)


    
    instruction = gr.Textbox(label = "คำสั่ง", value="จงสร้างคำแนะนำของผู้เชี่ยวชาญจากปัจจัยดังต่อไปนี้", visible=True, interactive=False)
    input_compo = gr.Textbox(label = "ข้อมูลเข้า (input)")
    btn1 = gr.Button("GENERATE INPUT")
    outputModel = gr.Textbox(label= "ผลลัพธ์ (output)")
    stream_output = gr.components.Checkbox(label="Stream output")


    

    # show input text format for user
    btn1.click(fn=generate_input, inputs=[birth_year, nationality_name, religion_name, sex,
                           inform_status, age, offense_name, allegation_name,
                           allegation_desc, rn1, rn2, rn3, education, occupation, province],
              outputs=input_compo)
    
    btn2 = gr.Button("GENERATE OUTPUT")
    btn2.click(fn=evaluate, inputs=[instruction, input_compo, stream_output], outputs=outputModel)

    # outputChatInterface = gr.ChatInterface(fn=evaluate)



    # input text format for model
    # btn.click(fn=generate_text_test2, inputs = [birth_year, nationality_name, religion_name, sex,
    #                                             inform_status, age, offense_name, allegation_name,
    #                                             allegation_desc, rn1, rn2, rn3, education, occupation, province],
    #                                   outputs = input_compo)



demo.launch(debug=True, share=True)