Update README.md
Browse files
README.md
CHANGED
|
@@ -43,3 +43,16 @@ llava-Qwen2-7B-Instruct-Chinese-CLIP = Qwen/Qwen2-7B-Instruct + multi_modal_proj
|
|
| 43 |
图片数据总量530Mb，约6247张图片。文字总量5.4Mb，约6247个图像文本对描述信息。
|
| 44 |
|
| 45 |
为了提升模型对中文文字的识别能力，我们引入了 priyank-m/chinese_text_recognition、SWHL/ChineseOCRBench 和 fly0331/ChineseTest 三个基于中文文字领域图片的数据集。这些数据集的融入将有效弥补 REILX/llava-Qwen2-7B-Instruct-Chinese-CLIP 模型在中文文字识别方面的不足，使其能够更好地理解和处理中文文本信息。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 43 |
图片数据总量530Mb，约6247张图片。文字总量5.4Mb，约6247个图像文本对描述信息。
|
| 44 |
|
| 45 |
为了提升模型对中文文字的识别能力，我们引入了 priyank-m/chinese_text_recognition、SWHL/ChineseOCRBench 和 fly0331/ChineseTest 三个基于中文文字领域图片的数据集。这些数据集的融入将有效弥补 REILX/llava-Qwen2-7B-Instruct-Chinese-CLIP 模型在中文文字识别方面的不足，使其能够更好地理解和处理中文文本信息。
|
| 46 |
+
|
| 47 |
+
6. 效果展示</br>
|
| 48 |
+
以下测试结果显示模型能识别图像中的文字信息，且能正确识别表情包想要表达的内涵</br>
|
| 49 |
+
<img src="./images/llava-qwen-2-7b-OFA-Syschinese-clip-chineseOCR_pri_fly_SWH_memechinese_lora_0716_warmup0_1_fp16/1.PNG" width="800" height="400">
|
| 50 |
+
<img src="./images/llava-qwen-2-7b-OFA-Syschinese-clip-chineseOCR_pri_fly_SWH_memechinese_lora_0716_warmup0_1_fp16/2.PNG" width="800" height="400">
|
| 51 |
+
<img src="./images/llava-qwen-2-7b-OFA-Syschinese-clip-chineseOCR_pri_fly_SWH_memechinese_lora_0716_warmup0_1_fp16/3.PNG" width="800" height="400">
|
| 52 |
+
<img src="./images/llava-qwen-2-7b-OFA-Syschinese-clip-chineseOCR_pri_fly_SWH_memechinese_lora_0716_warmup0_1_fp16/4.PNG" width="800" height="400">
|
| 53 |
+
<img src="./images/llava-qwen-2-7b-OFA-Syschinese-clip-chineseOCR_pri_fly_SWH_memechinese_lora_0716_warmup0_1_fp16/5.PNG" width="800" height="400">
|
| 54 |
+
<img src="./images/llava-qwen-2-7b-OFA-Syschinese-clip-chineseOCR_pri_fly_SWH_memechinese_lora_0716_warmup0_1_fp16/6.PNG" width="800" height="400">
|
| 55 |
+
<img src="./images/llava-qwen-2-7b-OFA-Syschinese-clip-chineseOCR_pri_fly_SWH_memechinese_lora_0716_warmup0_1_fp16/7.PNG" width="800" height="400">
|
| 56 |
+
<img src="./images/llava-qwen-2-7b-OFA-Syschinese-clip-chineseOCR_pri_fly_SWH_memechinese_lora_0716_warmup0_1_fp16/8.PNG" width="800" height="400">
|
| 57 |
+
<img src="./images/llava-qwen-2-7b-OFA-Syschinese-clip-chineseOCR_pri_fly_SWH_memechinese_lora_0716_warmup0_1_fp16/9.PNG" width="800" height="400">
|
| 58 |
+
</br>
|