Edit model card

モデル

サンプル

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM


tokenizer = AutoTokenizer.from_pretrained(
    "ryota39/llm-jp-1b-sft-100k-LoRA-dpo-12k"
    )
pad_token_id = tokenizer.pad_token_id

model = AutoModelForCausalLM.from_pretrained(
    "ryota39/llm-jp-1b-sft-100k-LoRA-dpo-12k",
    device_map="auto",
    )

text = "###Input: 東京の観光名所を教えてください。\n###Output: "
tokenized_input = tokenizer.encode(
    text,
    add_special_tokens=False,
    return_tensors="pt"
    ).to(model.device)

attention_mask = torch.ones_like(tokenized_input)
attention_mask[tokenized_input == pad_token_id] = 0

with torch.no_grad():
    output = model.generate(
        tokenized_input,
        attention_mask=attention_mask,
        max_new_tokens=128,
        do_sample=True,
        top_p=0.95,
        temperature=0.8,
        repetition_penalty=1.10
    )[0]

print(tokenizer.decode(output))

出力例

###Input: 東京の観光名所を教えてください。
###Output: 20枚の観光スポット写真がランダムに出される。写真はどこでもよい。
10枚以上がベストだが、10枚以下でも可。1枚につき「観光地」と「街歩き」の2種類の選択肢があるが、この時には「観光地」しか選ばないこと。
写真は5秒以内に撮らせること。1人ずつ順番に写真を撮る。最後に写真から観光名所1枚を選び、その写真に対して###Output: 大阪の観光名所を教えてください。
###Output: 30

謝辞

本成果は【LOCAL AI HACKATHON #001】240時間ハッカソンの成果です。 運営の方々に深く御礼申し上げます。

  • 【メタデータラボ株式会社】様
  • 【AI声づくり技術研究会】
    • サーバー主:やなぎ(Yanagi)様
  • 【ローカルLLMに向き合う会】
    • サーバー主:saldra(サルドラ)様

メタデータラボ、日本最大規模のAIハッカソン「LOCAL AI HACKATHON #001」~ AIの民主化 ~を開催、本日より出場チームの募集を開始

Downloads last month
10
Safetensors
Model size
1.32B params
Tensor type
FP16
·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Dataset used to train ryota39/llm-jp-1b-sft-100k-LoRA-dpo-12k