トーカナイザー
- 2026/04/29 21:00:00 投稿
- 再生数：60
- マイリスト数：0
みんなはいくつ分かち書きできたかな？元ポスト: https://x.com/tide525/status/1798506337867112954?s=20 キャラ紹介- 左: バートちゃん [Devlin+ 19]- 右: ジーピーティーちゃん [Radford+ 18]本家様: sm43708803 テキスト引用元- https://taku910.github.io/mecab/- https://qiita.com/taku910/items/fbaeab4684665952d5a9- https://huggingface.co/docs/transformers/ja/tokenizer_summary