因為如何程式設計一個Tokenizer,用以切割句子,也是一門學問。在切割單詞時,有時需要考慮標點符號,是否需要當成一個token。 Word normalization 包含了將取代數字,或 ...
確定! 回上一頁