utworzone przez Przemek | gru 27, 2020 | NLP
sklearn-wektoryzacja Technika reprezentująca kolekcję dokumentów w postaci wektorów o stałej długości¶ In [4]: from sklearn.feature_extraction.text import CountVectorizer vectorizer = CountVectorizer() import spacy nlp = spacy.load('pl_core_news_sm') In [5]:...
utworzone przez Przemek | gru 27, 2020 | NLP
spaCy_po_polsku-bag-of-words Bag-of-words (BoW) – technika uproszczonej reprezentacji tekstu. Polega na przekształeceniu sekwencji segmentów do policzonego zbioru segmentów. Kolejność segmentów nie ma znaczenia. Głównym zastosowaniem jest odwzorowanie...
utworzone przez Przemek | gru 27, 2020 | NLP
nltk-bag-of-words Bag-of-words (BoW) – technika uproszczonej reprezentacji tekstu. Polega na przekształeceniu sekwencji segmentów do policzonego zbioru segmentów. Kolejność segmentów nie ma znaczenia. Głównym zastosowaniem jest odwzorowanie podobieństwa...
utworzone przez Przemek | gru 27, 2020 | NLP
spaCy_po_polsku-lematyzacja In [1]: import spacy nlp = spacy.load("pl_core_news_sm") lematyzacja polega na sprowadzeniu słowa do formy bazowej¶ In [2]: doc = nlp("jem jemy jedzcie") for t in doc: print(f"{t.text:...
utworzone przez Przemek | gru 27, 2020 | NLP
spaCy_po_polsku-model_statystyczny In [2]: import spacy In [19]: nlp = spacy.load("pl_core_news_lg") In [20]: doc = nlp("Czarny kot zjadł rybę spod stołu i poszedł spać!") części mowy¶ In [21]: for token in doc:...
