BertJapaneseTokenizer であればテキストを MeCab で単語に分けて、それを更にサブワードに分割します。 spaCy は spaCy で tokenizer がパイプラインの ...
確定! 回上一頁