---
license: apache-2.0
---
# MiLu-GPT
基于GPT2+BERT的语言模型，以少量的纯中文语料从头训练，验证小模型在ChatGPT类似友好能力

GPT2+BERTokenizer从头训练模型（50W闲聊等语料）

环境：<br>
WIN10+Torch1.31+Cuda11.6 <br>
transformer4.29<br>



GIT开源地址：https://github.com/StarRing2022/MiLu-GPT/