File size: 10,018 Bytes
2217335
 
1823861
b380c20
2217335
 
 
 
 
72554ac
1823861
 
2217335
 
 
 
 
 
 
 
 
 
 
 
1823861
2217335
3b1628f
 
2217335
 
 
 
 
 
 
 
 
 
 
3a280a0
2217335
 
 
 
1823861
 
c774338
fb329f5
 
 
 
 
 
1823861
 
3b1628f
 
 
 
 
 
 
2217335
 
 
 
 
 
 
 
 
 
1823861
2217335
050bf4e
 
3b1628f
3a280a0
 
1823861
3a280a0
 
 
2217335
 
 
 
b380c20
2217335
 
 
 
 
ba50c3d
c47af0a
 
 
2217335
c47af0a
 
a2a4953
c47af0a
 
 
2217335
 
 
 
 
 
 
f5848c0
2217335
 
f941a22
 
 
 
 
2217335
1823861
 
c774338
 
 
 
3a280a0
c774338
 
1823861
c8bd9ca
80ae396
1823861
 
 
 
 
 
c8bd9ca
1823861
c8bd9ca
1823861
 
 
 
 
 
 
 
 
 
 
fb329f5
 
1823861
 
 
c8bd9ca
1823861
 
 
c8bd9ca
1823861
c8bd9ca
1823861
 
 
3a280a0
1823861
2217335
 
3b1628f
050bf4e
 
 
 
3b1628f
 
7b5efbb
 
3b1628f
 
 
7b5efbb
 
3b1628f
 
 
 
1823861
 
2217335
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1823861
 
3b1628f
1823861
 
2217335
1823861
2217335
1823861
 
3b1628f
1823861
2217335
 
fd59c90
 
 
 
5f7e791
 
 
3b1628f
5f7e791
 
e0de3ca
5f7e791
046a590
b62d821
 
3b1628f
b62d821
 
 
 
046a590
fd59c90
 
3b1628f
fd59c90
 
046a590
 
 
 
 
3b1628f
046a590
 
 
2217335
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
import os
import gradio as gr
from gradio.components import Textbox, Button, Slider, Checkbox
from AinaTheme import theme
from urllib.error import HTTPError

from rag import RAG
from utils import setup

MAX_NEW_TOKENS = 300
SHOW_MODEL_PARAMETERS_IN_UI = os.environ.get("SHOW_MODEL_PARAMETERS_IN_UI", default="True") == "True"

setup()


rag = RAG(
    hf_token=os.getenv("HF_TOKEN"),
    embeddings_model=os.getenv("EMBEDDINGS"), 
    model_name=os.getenv("MODEL"),   
    

)


def generate(prompt, model_parameters):
    try:
        output, context, source = rag.get_response(prompt, model_parameters)
        return output, context, source
    except HTTPError as err:
        if err.code == 400:
            gr.Warning(
                "The inference endpoint is only available Monday through Friday, from 08:00 to 20:00 CET."
            )
    except:
        gr.Warning(
            "Inference endpoint is not available right now. Please try again later."
        )


def submit_input(input_, num_chunks, max_new_tokens, repetition_penalty, top_k, top_p, do_sample, temperature):
    if input_.strip() == "":
        gr.Warning("Not possible to inference an empty input")
        return None


    model_parameters = {
        "NUM_CHUNKS": num_chunks,
        "max_new_tokens": max_new_tokens,
        "repetition_penalty": repetition_penalty,
        "top_k": top_k,
        "top_p": top_p,
        "do_sample": do_sample,
        "temperature": temperature
    }

    output, context, source = generate(input_, model_parameters)
    sources_markup = ""

    for url in source:
        sources_markup += f'<a href="{url}" target="_blank">{url}</a><br>'
        
    return output.strip(), sources_markup, context


def change_interactive(text):
    if len(text) == 0:
        return gr.update(interactive=True), gr.update(interactive=False)
    return gr.update(interactive=True), gr.update(interactive=True)


def clear():
    return (
        None, 
        None,
        None,
        None,
        None,
        gr.Slider(value=MAX_NEW_TOKENS),
        gr.Slider(value=1.0),
        gr.Slider(value=50),
        gr.Slider(value=0.99),
        gr.Checkbox(value=False),
        gr.Slider(value=0.35),
    )


def gradio_app():
    with gr.Blocks(theme=theme) as demo:
        with gr.Row():
            with gr.Column(scale=0.1):
                gr.Image("rag_image.jpg", elem_id="flor-banner", scale=1, height=256, width=256, show_label=False, show_download_button = False, show_share_button = False)
            with gr.Column():
                gr.Markdown(
                    """# Demo de Retrieval-Augmented Generation per documents legals
                    🔍 **Retrieval-Augmented Generation** (RAG) és una tecnologia de IA que permet interrogar un repositori de documents amb preguntes 
                    en llenguatge natural, i combina tècniques de recuperació d'informació avançades amb models generatius per redactar una resposta 
                    fent servir només la informació existent en els documents del repositori. 
                        
                    🎯 **Objectiu:** Aquest és un primer demostrador amb la normativa vigent publicada al Diari Oficial de la Generalitat de Catalunya, en el 
                    repositori del EADOP (Entitat Autònoma del Diari Oficial i de Publicacions). Aquesta primera versió explora prop de 2000 documents en català, 
                    i genera la resposta fent servir el model Flor6.3b entrenat amb el dataset de QA generativa projecte-aina/RAG_Multilingual. 
                    
                    ⚠️ **Advertencies**: Primera versió experimental. El contingut generat per aquest model no està supervisat i pot ser incorrecte. 
                    Si us plau, tingueu-ho en compte quan exploreu aquest recurs.                 
                    """
                )
        with gr.Row(equal_height=True):
            with gr.Column(variant="panel"):
                input_ = Textbox(
                    lines=11,
                    label="Input",
                    placeholder="Quina és la finalitat del Servei Meteorològic de Catalunya?",
                    # value = "Quina és la finalitat del Servei Meteorològic de Catalunya?"
                )
                with gr.Row(variant="panel"):
                    clear_btn = Button(
                        "Clear",
                    )
                    submit_btn = Button("Submit", variant="primary", interactive=False)

                with gr.Row(variant="panel"):
                    with gr.Accordion("Model parameters", open=False, visible=SHOW_MODEL_PARAMETERS_IN_UI):
                        num_chunks = Slider(
                            minimum=1,
                            maximum=6,
                            step=1,
                            value=1,
                            label="Number of chunks"
                        )
                        max_new_tokens = Slider(
                            minimum=50,
                            maximum=2000,
                            step=1,
                            value=MAX_NEW_TOKENS,
                            label="Max tokens"
                        )
                        repetition_penalty = Slider(
                            minimum=0.1,
                            maximum=2.0,
                            step=0.1,
                            value=1.0,
                            label="Repetition penalty"
                        )
                        top_k = Slider(
                            minimum=1,
                            maximum=100,
                            step=1,
                            value=50,
                            label="Top k"
                        )
                        top_p = Slider(
                            minimum=0.01,
                            maximum=0.99,
                            value=0.99,
                            label="Top p"
                        )  
                        do_sample = Checkbox(
                            value=False, 
                            label="Do sample"
                        )
                        temperature = Slider(
                            minimum=0.1, 
                            maximum=1,
                            value=0.35,
                            label="Temperature"
                        )

                        parameters_compontents = [num_chunks, max_new_tokens, repetition_penalty, top_k, top_p, do_sample, temperature]

            with gr.Column(variant="panel"):
                output = Textbox(
                    lines=10, 
                    label="Output", 
                    interactive=False, 
                    show_copy_button=True
                )
                with gr.Accordion("Sources and context:", open=False):
                    source_context = gr.Markdown(
                        label="Sources",
                        show_label=False,
                    )
                    with gr.Accordion("See full context evaluation:", open=False):
                        context_evaluation = gr.Markdown(
                            label="Full context",
                            show_label=False,
                            # interactive=False, 
                            # autoscroll=False,
                            # show_copy_button=True
                        )
                

        input_.change(
            fn=change_interactive,
            inputs=[input_],
            outputs=[clear_btn, submit_btn],
            api_name=False,
        )

        input_.change(
            fn=None,
            inputs=[input_],
            api_name=False,
            js="""(i, m) => {
            document.getElementById('inputlenght').textContent = i.length + '  '
            document.getElementById('inputlenght').style.color =  (i.length > m) ? "#ef4444" : "";
        }""",
        )

        clear_btn.click(
            fn=clear, 
            inputs=[], 
            outputs=[input_, output, source_context, context_evaluation] + parameters_compontents,
              queue=False, 
              api_name=False
        )
        
        submit_btn.click(
            fn=submit_input, 
            inputs=[input_]+ parameters_compontents, 
            outputs=[output, source_context, context_evaluation],
            api_name="get-results"
        )

        with gr.Row():
            with gr.Column(scale=0.5):
                gr.Examples(
                    examples=[
                        ["""Què és l'EADOP (Entitat Autònoma del Diari Oficial i de Publicacions)?"""],
                    ],
                    inputs=input_,
                    outputs=[output, source_context, context_evaluation],
                    fn=submit_input,
                )
                gr.Examples(
                    examples=[
                        ["""Què diu el decret sobre la senyalització de les begudes alcohòliques i el tabac a Catalunya?"""],
                    ],
                    inputs=input_,
                    outputs=[output, source_context, context_evaluation],
                    fn=submit_input,
                )
                gr.Examples(
                    examples=[
                        ["""Com es pot inscriure una persona al Registre de catalans i catalanes residents a l'exterior?"""],
                    ],
                    inputs=input_,
                    outputs=[output, source_context, context_evaluation],
                    fn=submit_input,
                )
                gr.Examples(
                    examples=[
                        ["""Quina és la finalitat del Servei Meterològic de Catalunya ?"""],
                    ],
                    inputs=input_,
                    outputs=[output, source_context, context_evaluation],
                    fn=submit_input,
                )

        demo.launch(show_api=True)


if __name__ == "__main__":
    gradio_app()