Python文本处理方法大全

Python 笔记

一、文本清洗

在进行文本处理时，经常需要对原始文本进行清洗，以滤除无用信息或噪声。在Python中，我们可以使用一些常见的方法清洗文本，如删除标点符号、转化为小写字母等。

import string

text = "Hello, World!"
text = text.translate(str.maketrans("", "", string.punctuation)) #删除标点符号
text = text.lower() #转化为小写字母
print(text)

对于包含HTML标签的文本，我们可以使用Python中的第三方库BeautifulSoup来处理。它可以解析HTML文本，并提供了一些便利的方法来清洗文本。

from bs4 import BeautifulSoup

html = "<p><b>Hello, <i>World</i>!</b></p>"
soup = BeautifulSoup(html, "html.parser")
text = soup.get_text()
print(text)

二、文本分词

文本分词是将文本切分成单词或短语的过程，常见的分词方法有基于规则的分词、基于统计的分词和基于神经网络的分词等。在Python中，我们可以使用第三方库NLTK来进行文本分词。

import nltk

text = "I love Python programming language!"
tokens = nltk.word_tokenize(text)
print(tokens)

除了使用现成的分词工具，我们还可以训练自己的分词模型，以适应特定领域的文本处理。NLTK库也提供了相应的API接口，可以训练自己的分词模型。

三、文本去重

在进行文本分析时，经常需要对文本进行去重，以消除重复的信息。Python中可以使用set()方法来实现去重操作。

texts = ["Hello, World!", "Hello, Python!", "Python is awesome!"]
unique_texts = set(texts)
print(unique_texts)

除了使用set()方法，我们还可以使用第三方库Pandas来进行文本去重操作。它可以读取文本数据，并提供了一些实用的去重方法。

import pandas as pd

df = pd.DataFrame({"text": ["Hello, World!", "Hello, Python!", "Python is awesome!"]})
unique_df = df.drop_duplicates()
print(unique_df)

四、文本分类

文本分类是将文本按照预先定义的类别进行分类的过程。在Python中，我们可以使用第三方库scikit-learn来实现文本分类。

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB

texts = ["Python is a great programming language.", 
         "I love to code in Python.", 
         "Java is an old programming language.", 
         "C++ is a difficult programming language."]

categories = ["Python", "Python", "Java", "C++"]

cv = CountVectorizer()
X = cv.fit_transform(texts)
y = categories

clf = MultinomialNB()
clf.fit(X, y)

new_texts = ["I am learning Python.", "I am a fan of Java."]
X_new = cv.transform(new_texts)
predicted = clf.predict(X_new)
print(predicted)

五、情感分析

情感分析是针对文本中所包含的情感进行分析的过程，常见的应用场景包括产品评论、社交媒体监控等。在Python中，我们可以使用第三方库TextBlob来进行情感分析。

from textblob import TextBlob

text = "I love Python programming language!"
blob = TextBlob(text)
sentiment = blob.sentiment.polarity
if sentiment > 0:
    print("Positive")
elif sentiment < 0:
    print("Negative")
else:
    print("Neutral")

除了使用现成的情感分析工具，我们还可以训练自己的情感分析模型，以适应特定领域的文本处理。针对中文文本，我们可以使用第三方库THULAC进行分词和情感分析。

六、关键词提取

关键词提取是从文本中提取出具有代表性的词语的过程，常见的应用场景包括文本摘要、文本分类等。在Python中，我们可以使用第三方库TextRank来进行关键词提取。

from textrank4zh import TextRank4Keyword

text = "Python is a powerful programming language. It is easy to learn and widely used in various fields."
tr4w = TextRank4Keyword()
tr4w.analyze(text)
keywords = tr4w.get_keywords(5)
for keyword in keywords:
    print(keyword.word)

除了使用TextRank方法，我们还可以使用其他基于统计的关键词提取方法，如TF-IDF（term frequency–inverse document frequency）等。

七、文本生成

文本生成是利用自然语言处理技术生成文本的过程。在Python中，我们可以使用第三方库GPT-2来进行文本生成。

import torch
import gpt_2_simple as gpt2

model_name = "117M"
sess = gpt2.start_tf_sess()
gpt2.load_gpt2(sess, model_name=model_name)

text = gpt2.generate(sess, model_name=model_name, length=50, prefix="Hello", temperature=0.7, return_as_list=True)[0]
print(text)

除了使用GPT-2，我们还可以使用其他语言模型，如BERT（Bidirectional Encoder Representations from Transformers）等。