Update README.md

README.md

@@ -20,11 +20,12 @@ tags:
 
 ### 数据集
 
-以 m-a-p/neo_sft_phase2 数据集为基石，构建了三个子数据集，分别如下：
+以 m-a-p/neo_sft_phase2 数据集为基石，构建了四个子数据集，分别如下：
 
 1. REILX/neo_sft_phase2_conversations
 2. REILX/neo_sft_phase2_multi
 3. REILX/neo_sft_phase2_single
+4. REILX/neo_sft_phase2_all_pair
 
 ### 数据集构建规则
 
@@ -55,6 +56,16 @@ tags:
     4. 将该“conversation”的“gpt”的“value”作为“output”。
     5. “input”可为空白，亦可注入适当的提示信息。
 
+**REILX/neo_sft_phase2_all_pair**
+
+* **具体步骤：**
+1. 输入为一个json文件，遍历每一个conversations
+2. conversations包含多轮对话，需要按照对应的轮数构成新数据集
+3. 比如1、2轮构成一个jsonl的一行，3、4构成一行，5、6构成一行等等等，直到完整的使用结束conversations
+4. 将该“conversation”的“human”的“value”作为“instruction”
+5. 将该“conversation”的“gpt”的“value”作为“output”
+4. “input”可为空白，亦可注入适当的提示信息。
+
 ### 训练参数
 REILX/neo_sft_phase2_conversations</br>
 The following hyperparameters were used during training:
@@ -105,6 +116,22 @@ REILX/neo_sft_phase2_single</br>
 - lr_scheduler_warmup_ratio: 0.1
 - num_epochs: 5.0
 
+REILX/neo_sft_phase2_all_pair</br>
+- learning_rate: 2e-05
+- train_batch_size: 1
+- eval_batch_size: 8
+- cutoff_len:4096
+- seed: 42
+- distributed_type: multi-GPU
+- num_devices: 8
+- gradient_accumulation_steps: 8
+- total_train_batch_size: 64
+- total_eval_batch_size: 64
+- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
+- lr_scheduler_type: cosine
+- lr_scheduler_warmup_ratio: 0.1
+- num_epochs: 5.0
+
 ### 损失图
 REILX/neo_sft_phase2_conversations</br>
 <img src="./neo_sft_phase2_conversations/training_loss.png" alt="neo_sft_phase2_conversations_loss" width="60%"> 
@@ -113,4 +140,8 @@ REILX/neo_sft_phase2_multi</br>
 <img src="./neo_sft_phase2_multi/training_loss.png" alt="neo_sft_phase2_multi_loss" width="60%"> 
 
 REILX/neo_sft_phase2_single</br>
-<img src="./neo_sft_phase2_single/training_loss.png" alt="neo_sft_phase2_single_loss" width="60%">
+<img src="./neo_sft_phase2_single/training_loss.png" alt="neo_sft_phase2_single_loss" width="60%">
+
+REILX/neo_sft_phase2_all_pair</br>
+<!-- ![neo_sft_phase2_single_loss](./neo_sft_phase2_single/training_loss.png) -->
+<img src="./neo_sft_phase2_all_pair/training_loss.png" alt="neo_sft_phase2_all_pair_loss" width="60%">