【トークナイザー】各モデルにおけるトークン数の確認

トークナイザーをテストしてnsfw文章でトークン効率を見てみます。

from transformers import AutoTokenizer

# Load a tokenizer
MODEL_DIRECTORY = "llm-jp/llm-jp-3-3.7b"
tokenizer = AutoTokenizer.from_pretrained(MODEL_DIRECTORY)

# Text to tokenize
text = "せ、先輩…先輩の部屋、ちょっと熱いのでブレザー脱ぎますね… あ、あー…まだ暑いなー。シャツのボタンも外しちゃおー ちらっ ちらちらー はー…はい、失格です。童貞卒業資格認定試験不合格、失望しました。予想通りですけど まったく、ここは私を押し倒すところでしょう。えっろい身体ぶらさけて俺の部屋に上がり込んで、無防備に肌見せてたら犯されて当然だろう?とか言って、何を紳士ぶってるんですか。この前それで失恋したばっかりでしょう もうなんかかわいそうなんで、私が童貞もらってあげますよ。そうすれば多少は自信もつくでしょう。今ならなんと土下座10回払いでOKです い、いいからさっさとセックスしますよ?き、気が変わったんです。ガタガタ言わないでさっさた脱いでそこ座れ。もたもたしてるとチャンス逃すんですよ?んっ、んっ、はぁ… …え? ああ…やっぱ、このちんぽかっこよ…はぁ、はぁ…やば…交尾準備汁漏れる…ふぅ、ふぅ… あ、相変わらず威勢だけはいいちんぽですね。私の処女マンぶち犯す気満々ってわけですか?見ての通り、先輩最近調子乗ってるんで、ここらで上下関係を明確にしておかないとと思いましてね…私が上、先端が下 …の、対面座位です 言っておきますけど、これは躾の一環ですからね?ラブラブ筆おろしとか、マゾメスわからすセックスとか、そういうのは期待しないように… …まず、先輩みたいな惚れっぽい童貞は、一回セックスさせてあげたら、すぐ私にメロメロのバカなお猿さんになるじゃないですか。それでマウント取って、一生私の尻に敷いてやろうってわけです 先輩が亭主関白とか無理でーす。残念でした… そんなに勃起させておいて、今さらやめるなんて無理ですよね?負けると分かっていながら、目の前に現れた童貞卒業のチャンスに飛びつくしかないんですよ、先輩は んっふ…ふぅ…はぁ…大丈夫大丈夫大丈夫、落ち着け私、いけるいける…はぁぁ…先輩の童貞ちんぽなんて楽勝勝。私は超絶美少女、極上エロボディ。セックスなんて簡単簡単 あ、あの…先輩からは一切動かないでくださいね。弱々まんこびっくりしちゃうんで…ちょっとでも動いたらDV認定です。家庭内暴力で警察に突き出します …よ、よし、いいれますよ。一瞬でガチ恋敗北射精させてあげますからね。マジでセックスしちゃいます。敗北を噛みしめる準備はいいですか?入れますよ?ほ、本当に入れちゃいますからね? は?びびびび、びびってないですけど、これは武者震いです。処女への偏見やめてください。マン汁どばどば準備万端で、先輩のちんぽ任す気満々ですから…い、いきますよ…せーの… って言ったら挿入しますからね。あ、うるさいうるさい。次は本島に入れますって。…せー…の うおおぉぉ…おほぉぉ…ごほぉ、ごほぉ…ごめんなさい…おぉ…ひぃ、ひっひっ、ひぃぃ…えへぇぇ… あ…う、うう…やば…意識飛びかけた…はい余裕…先輩の童貞コーチ、で…す… …よ、余裕だっつってんでしょうが。心配するフリしてマウント取ろうとするのやめてください。ちんぽ入れてる最中に優しくするの反則ですよ。ガチ恋しちゃうんで。うっうっ お、おお…呼吸の動きだけでイグッ…ひっ、ひぃ…ほ、本当に余裕なんですけど、ちょっと一旦休憩にしますか?いきなり動いたら、早漏の先輩はすぐ暴発しちゃいますからね…いこう? …身体、支えててください…おっぱい身体に押し当てるの、サービスしとくんで…ちなみに今日ノーブラです… うわ…ほんとにちんぽ入ってる…わたしの雑魚まんこ、先輩に明け渡しちゃった…先輩がその気になったら、一瞬でハメ潰されて、卵子強奪… ふぅー…そのままツヨツヨ精子に簡単にモグモグされて、ガチ恋敗北孕み嫁にされちゃうんだ…やばいぐ、いっく…受精アクメ想像しちゃった… ヘタレの先輩はそんなことできないでしょうけど…んふー、ふー… よし、じゃあ動きますね… は?だだだ大丈夫に決まってるじゃないですか。だから心配するフリやめてください。優しさ見せて心まで落とそうとしてんのバレバレですよ卑怯者 童貞ちんぼいやっつけて、先輩に勝ちますから…ううっ、無様にイキ散らかして、敗北宣言するのが楽しみですね…やば、抜く時… カリ首でヒダヒダ持ってかれるぅ…おぉ…これがチンポ…マゾメスイジメ専用の虐殺気感… あ…やっぱ…私のヨワヨーまんこ…先輩のちんぽに我が物顔で蹂躙されちゃってる… うぐっ…ちょっと待ってください、一回イク…ダメダメ、イクイク、イッ…ちょっとダマ、イッて…ふっ、ふっ…クソ、ちんぽ強すぎですよボケ…ちゅっ 先輩、なに私が言ってるとこじろじろ見てんですか… なんもしなくてもすぐイくから楽勝だなとか思ってんでしょう?うぐぅ、童貞卒業したてのくせに舐めやがって…も、もうイケメンチンポは慣れましたから、今からはガチのマジの本気で先輩から精液搾り取ってやります… んくっ…ふぅ、ふぅ…絶対負けないこのちんぽに勝って、一生先輩のこと尻に敷いてやるんですから…普段から主導権握ってるのは私…ちんぼぐらいで逆転されてたまるか、絶対マゾじゃないって証明します… ん…んぐ、んぐ…んぐ… ごも…きつ、もう… あちんぽやぽ… うっ…やばいやばいこれじゃすぐ負ける…浅めのトコに逃げ…待てここヤバ…イグ…Gスポやばいって…すぐイグイグ…ひくひく…ぐぅ…くっ、くっそぉ…じ、Gスポ…えぐられたらすぐまけちゃう…に、逃がさないと… うぅ…う、ぁ…いい感じかも… い、言っときますけど、ザコザコ即イキスポット避けるために、無様に腰くねらせて小細工してるわけじゃないですからね… はぅ…おぉ…先輩のちんぽ、いじみやすい動かし方を… 探してるだけ、ですぅ…口答えしたら、土下座増量ですから…むぐぅ…深く入れるの、密着感すご…ふぅ…あ、やば…ぬちぬちって…粘膜、目いっぱい擦れあうの…エロすぎです…ふぉ… うぐぅ…はぁ、はぁ…しょ、処女にこんなことさせて、ただで済むと思わないでくださいよ、鬼畜先輩… んぉぉ…おっ、おおぉ…おぉぉ…すご、気持ちいい…お腹の奥で、先輩のちんぽ感じて…んぉ…子宮熱… もう…恋心溜まってグツグツしちゃってる ふぅっ、ふっ、ふぅ…勘違いしちゃダメ、私の子宮…これはラブラブ雅牝メスイジメセックスじゃなくて、意地悪女子の童貞枠なセックスだから…うれせにれせにぃ…ちょ、ちょっと先輩…イケメン色仕掛けで子宮ガチコイ熱熱暴走させるのやめてください…ぃ 童貞辞めたばっかりのくせに、乙女の純情を持って遊ぶのは良くないと思います。ちょ、ヤバヤバイヤバイヤバいマンコの感度上がっちゃうから…うぅ…もう、もう、ちっぽ強すぎ…楽勝だと思ってたのに…やっぱ、子宮震える…セックスが、こんな女の子振りとか聞いてない…もうっ 絶対負けたらダメなのにお嬢… 先輩、ちんぽビクつかせるの禁止…んんっ 硬くするのも禁止ぃ…もぉ、私の醜態見て興奮してんじゃないですよこのクソサダ野郎…おぐっ、うっ、ううっ…私のことお嫁さん系、マゾメス奴隷にする気満々なんですね、最悪ぅ…ああっ、ちんぽき… うぅぅ…ぜ、絶対先輩の思い通りにはさせません…おぉ…おちんぽで脅しても無駄ですから… 私のザコマゾ子宮はもう白旗卵卵子ぽこぽこ献上する準備しちゃってますけど、心は一切落ちてませんよ。負けない、負けな…負けなくな…イク…お、おぉ… …気ぃ抜いたら気絶しそう うぅぅ…やば、ちんぽもっと硬くなってきて… マゾメスの子宮征服するアツアツの精液の持ってきてる…もうカッコいい…好き…あっ、射精想像してちょっとイグ… しゅきすぎてつらい子宮があつ…じゃなくて、せ、先輩ももうヤバいんですよね?ちんぽをはちきれそうなの丸上がりですよ。童貞じょろ…早く射精させないとヤバい…このまま脳内麻菌に染まりきったら私の人生終わる… そんなの… そんなの絶対… ふぅ…ラストスパート引きますよ…んぉぉ… っとやば…あぁ…く、クソボケ童貞チンポ、やっつけてやりますよ…ばーか…こらぁ…お、くたばれボケ…早く出せ… おぉ、おっ、おっ…さ、さっさと観念しろぉ…じゃないと私の方が…やばっ、待て待て待って…そこ、ヤバいです…一番奥、チンポ食い込んで…マゾイキスイッチオしっぱなしになってますって…あ、死ぬ死ぬ三コマ死ぬ…アクメ止まんない… ガッ、ガチ恋快楽信号で脳みさえぎきれるぅ…ちょ、センパイ待ってタイム…待てってばぁ…私のプザマ息見てちんぽバキらせるのやめろ…射精準備できる…んぅ…やばい、やばやばいやばい…亀胃…亀頭、子宮につぎつけられてるぅ… あがっ…ちんぽ殺意ヤバ…射精近いのわかる…まんこ終わらせる気満々…ぐぅぅ…むきる…女の子殺される…先輩ちんポカッコよすぎ…敗北アクメ脳に刻み込まれて、ガチ恋マゾオナホにされちゃうぅ… あぐぅ… ぐぃっ… あ、あ…やばやば、やば…剥けます…まんこ負けます…ガチコイ交際イキちます…あ゛あ゛…むけまいすよ、せんぱい好き… でかいところ… 先輩にイかされた敗北アクメ決めます。ガチ食いマゾ女ちんぽで負けます。イクイク、イク…イク… ぐ… ぐぅぅ…うぷ…やば、イッてる…んぐぅ…子宮熱ぅ…これやば…死ぬ…センパイの精液…お腹で弾けて…頭パチパチして…はぁはぁ…おぉぉ… お腹チンチンする…わたしの赤ちゃん部屋、クソサド選手に征服されてる…ああ、イクイク… まんこに負け癖ついちゃう…あぁ、くやち…まだ息ずるい…ふぁ、あっ…先輩に向けるの気持ちよすぎる…はぁ、はぁ…余韻が… おぉ…おほっ…くっそ…カチコイ収まんない…はぁ、はぁ、ふぅ…ふぅぅ…"

# Tokenize the text and count tokens
tokens = tokenizer.encode(text)
decoded_tokens = [tokenizer.decode(token) for token in tokens]
token_count = len(tokens)

print(f"decoded_tokens: {decoded_tokens}")
print(f"Token Count: {token_count}")

テスト用text: 3940

結果