Adde image caption

app.py

@@ -1,19 +1,35 @@
+from PIL import Image
+from transformers import BlipProcessor, BlipForConditionalGeneration
 import gradio as gr
-from diffusers import DDPMPipeline
-from transformers import pipeline
-import torch
 
-pipeline = pipeline(task="image-classification", model="julien-c/hotdog-not-hotdog")
+# Inicialización del procesador y modelo de BLIP
+processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-large")
+model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-large")
 
-def predict(input_img):
-    predictions = pipeline(input_img)
-    return input_img, {p["label"]: p["score"] for p in predictions} 
+def generate_captions(image, text=""):
+    # Convertir la imagen cargada a PIL Image
+    raw_image = Image.fromarray(image).convert('RGB')
+    
+    if text:  # Conditional image captioning
+        inputs = processor(raw_image, text, return_tensors="pt")
+    else:  # Unconditional image captioning
+        inputs = processor(raw_image, return_tensors="pt")
+    
+    # Generar subtítulos para la imagen
+    out = model.generate(**inputs)
+    caption = processor.decode(out[0], skip_special_tokens=True)
+    
+    return caption
 
-gradio_app = gr.Interface(
-    predict,
-    inputs=gr.Image(label="Select hot dog candidate", sources=['upload', 'webcam'], type="pil"),
-    outputs=[gr.Image(label="Processed Image"), gr.Label(label="Result", num_top_classes=2)],
-    title="Hot Dog? Or Not?",
+# Interfaz de Gradio
+iface = gr.Interface(
+    fn=generate_captions,
+    inputs=[gr.Image(shape=(512, 512), label="Cargar/Arrastrar Imagen", image_mode='RGB', tool="editor"),
+            gr.Textbox(label="Texto Condicional (opcional)", placeholder="Introduce un texto condicional (opcional)...")],
+    outputs=gr.Textbox(label="Subtítulo Generado"),
+    title="Generador de Subtítulos de Imágenes BLIP",
+    description="Esta aplicación genera subtítulos para imágenes cargadas. También puedes proporcionar un texto condicional para guiar la generación del subtítulo."
 )
+
 if __name__ == "__main__":
-    gradio_app.launch()
+    iface.launch()

requirements.txt

@@ -1,4 +1,5 @@
 diffusers
 gradio
 torch
-transformers
+transformers
+Pillow