首页　>　文章列表　>　Python中的文本分类实例

Python中的文本分类实例

Python 实例文本分类
423 2023-06-09

Python中的文本分类实例

随着人工智能和自然语言处理技术的发展，文本分类成为了应用广泛的技术之一，它可以在自然语言处理任务中发挥重要作用。Python作为一种流行的编程语言，其强大的自然语言处理库和机器学习库，如NLTK、Scikit-learn和Tensorflow等，使得文本分类在Python中变得非常容易实现。

本文将介绍Python文本分类的实例，并通过实例演示如何使用Python进行文本分类。

数据收集与预处理

在进行文本分类之前，需要收集、清洗和预处理数据。这里我们将使用一个情感分析任务的数据集作为实例。该数据集包含两个类别的电影评论，分别代表正面和负面情感。数据集来源于电影评论网站IMDb，可以在 http://ai.stanford.edu/~amaas/data/sentiment/ 中下载。

数据集中的每个评论都是一个文本文件，其中的标签为文件名中的pos或neg。我们可以使用Python的os库来读取文件，然后将文本和标签存入一个Pandas的DataFrame中，方便后续的处理。

import os
import pandas as pd

# 读取文件
def read_data(folder):
    files = os.listdir(folder)
    data = {'text': [], 'sentiment': []}
    for file in files:
        with open(os.path.join(folder, file), 'r') as f:
            data['text'].append(f.read())
            data['sentiment'].append(file.split('.')[0])
    return pd.DataFrame.from_dict(data)

# 读取数据集
train_folder = 'aclImdb/train'
test_folder = 'aclImdb/test'
train_data = read_data(train_folder)
test_data = read_data(test_folder)

然后，我们可以使用Pandas的groupby方法，统计数据集中文本长度和情感标签的占比。

# 统计文本长度
train_data['text_len'] = train_data['text'].apply(len)
test_data['text_len'] = test_data['text'].apply(len)

# 统计情感标签比例
train_sentiment_pct = train_data.groupby('sentiment').size() / len(train_data)
test_sentiment_pct = test_data.groupby('sentiment').size() / len(test_data)
print('Train Sentiment Distribution: 
{}
'.format(train_sentiment_pct))
print('Test Sentiment Distribution: 
{}
'.format(test_sentiment_pct))

运行以上代码，我们可以看到数据集中正面和负面评论的数量大致相同，情感标签分布均匀。

特征提取

在进行文本分类之前，需要将文本转换为计算机可以理解的形式。这里我们将使用词袋模型来进行特征提取。

词袋模型是基于一个假设：文本中的每个词的重要性都是相等的，因此将文本中所有的单词都提取出来，形成一个词汇表（vocabulary），然后将每个文本表示为一个向量，向量的每个元素代表该词在该文本中出现的次数。

在Scikit-learn中，可以使用CountVectorizer来进行特征提取。

from sklearn.feature_extraction.text import CountVectorizer

# 创建CountVectorizer对象
vectorizer = CountVectorizer(stop_words='english')

# 将文本转换为向量
train_features = vectorizer.fit_transform(train_data['text'])
test_features = vectorizer.transform(test_data['text'])

# 打印特征维度
print('Train Feature Dimension: {}'.format(train_features.shape))
print('Test  Feature Dimension: {}'.format(test_features.shape))

以上代码将文本转换为了向量，每个文本都是一个维度为词汇表大小的稀疏向量。可以看到，该数据集中共有25万个特征，维度非常高。

模型训练和评估

使用Scikit-learn中的多个分类器进行训练和评估。这里我们将使用逻辑回归分类器、朴素贝叶斯分类器、支持向量机分类器和随机森林分类器，看看哪个分类器性能最好。

from sklearn.linear_model import LogisticRegression
from sklearn.naive_bayes import MultinomialNB
from sklearn.svm import SVC
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import f1_score, accuracy_score

# 训练和评估函数
def train_and_evalute(classifier, train_features, train_labels, test_features, test_labels):
    # 训练分类器
    classifier.fit(train_features, train_labels)

    # 在训练集和测试集上计算F1分数和准确率
    train_predictions = classifier.predict(train_features)
    test_predictions = classifier.predict(test_features)
    train_f1 = f1_score(train_labels, train_predictions, pos_label='pos')
    test_f1 = f1_score(test_labels, test_predictions, pos_label='pos')
    train_accuracy = accuracy_score(train_labels, train_predictions)
    test_accuracy = accuracy_score(test_labels, test_predictions)

    # 打印评估结果
    print('Train F1 Score: {0:.3f}'.format(train_f1))
    print('Test  F1 Score: {0:.3f}'.format(test_f1))
    print('Train Accuracy: {0:.3f}'.format(train_accuracy))
    print('Test  Accuracy: {0:.3f}'.format(test_accuracy))

# 训练和评估各个分类器
classifiers = [
    ('Logistic Regression', LogisticRegression(max_iter=1000)),
    ('Multinomial Naive Bayes', MultinomialNB()),
    ('Support Vector Machine', SVC(kernel='linear')),
    ('Random Forest', RandomForestClassifier(n_estimators=100))
]
for classifier_name, classifier in classifiers:
    print('
{}'.format(classifier_name))
    train_and_evalute(classifier, train_features, train_data['sentiment'], test_features, test_data['sentiment'])

以上代码使用了训练集和测试集对各个分类器进行了评估。我们可以看到，朴素贝叶斯分类器在训练集和测试集上表现都非常好，达到了0.87的F1分数和0.85的准确率。其他分类器的性能略逊一筹，但也都表现良好。