NLTK: tokenizacja i steaming

utworzone przez | sty 3, 2021 | NLP

nltk-tokenizacja_i_steaming 3 najbardziej popularne tokenizatory z biblioteki NLTK SpaceTokenizer¶ w odróżnieniu od spaCy dzieli wyłącznie po spacji In [1]: from nltk.tokenize import SpaceTokenizer space_tokenizer = SpaceTokenizer() text = "Budynek powstawał w latach...