Python机器学习 | 处理NAN（非数字）的技巧

目录 📋

• 介绍 📖
• 什么是Series？ 📚
• 处理缺失值 🔄
• isnull()和notnull()函数 🔎
• 简单示例 📊
• 处理缺失值的方法 💡
  • 删除缺失值 ✂️
  • 填充缺失值 🧱
  • 插值填充 📈
• 示例数据集 🗃️
• 处理数据集中的缺失值 🛠️
  • 处理age列 ✔️
  • 处理cabin列 ✔️
  • 处理embarked列 ✔️
  • 统计信息和概览 📊
• 总结和下一步 📝

介绍 📖

本文将向您介绍如何处理Pandas中的缺失值。在机器学习和数据分析中，处理缺失值是一个重要的步骤，因为缺失值可能会对分析结果产生不良影响。我们将使用Python和Pandas库来演示不同的处理方法，以便您能够有效地处理缺失值并获取准确的分析结果。

什么是Series？ 📚

Series是Pandas库中的一维标签数组，可包含各种数据类型，如整数、浮点数、文本等。Series具有索引，可以通过索引访问和操作数组中的数据。在处理缺失值时，我们将使用Series来存储和处理数据。

处理缺失值 🔄

在处理缺失值之前，我们首先需要了解如何判断某个值是否为缺失值。Pandas提供了两个非常有用的函数：isnull()和notnull()。这两个函数可以用于检查数据中的缺失值并返回布尔值，以便我们可以根据需要进行处理。

isnull()和notnull()函数 🔎

• isnull()函数用于检查值是否为空值（None）或缺失值（NaN）。
• notnull()函数正好相反，用于检查值是否不为空值或不是缺失值。

简单示例 📊

让我们通过一个简单的示例来演示isnull()和notnull()函数的使用。假设我们有一个Series，其中包含一些缺失值。我们可以使用这些函数来检查缺失值并进行相应的处理。

import pandas as pd

# 创建示例Series
data = [1, 2, None, 4, 5, pd.NA, 7, pd.NA, 9]
s = pd.Series(data)

# 检查缺失值
print(s.isnull())

# 检查非缺失值
print(s.notnull())

输出结果：

0    False
1    False
2     True
3    False
4    False
5     True
6    False
7     True
8    False
dtype: bool

0     True
1     True
2    False
3     True
4     True
5    False
6     True
7    False
8     True
dtype: bool

从以上示例中，我们可以看到哪些值是缺失值以及哪些值不是缺失值。

处理缺失值的方法 💡

当我们发现数据中存在缺失值时，我们可以选择不同的方法来处理它们。下面是一些常用的处理缺失值的方法：

1. 删除缺失值 ✂️

最简单的方法是直接将缺失值所在的行或列从数据集中删除。但是，在删除缺失值之前，我们需要仔细考虑删除操作对数据集的影响，并确保删除操作不会导致信息的丢失。

2. 填充缺失值 🧱

另一个常用的方法是将缺失值替换为其他的非缺失值。根据数据集的特点和需求，我们可以选择不同的填充方法，如用均值、中位数、众数等来填充缺失值。

3. 插值填充 📈

当缺失值的分布具有一定的模式或趋势时，我们可以使用插值方法来填充缺失值。插值方法可以根据已知的数据点推断出缺失值，并在数据中进行插补，以便更好地估计缺失值。

示例数据集 🗃️

在接下来的示例中，我们将使用一个示例数据集来演示如何处理数据集中的缺失值。该数据集包含乘客的性别、年龄、舱位和登船港口等信息。我们将根据不同的列来处理缺失值，并展示处理后的数据集。

处理数据集中的缺失值 🛠️

我们现在开始处理数据集中的缺失值。根据之前讨论的方法，我们将逐列处理数据集，以获得完整的数据。

处理age列 ✔️

首先，我们要处理的是“age”列中的缺失值。缺失值的存在可能会导致分析结果不准确，因此我们需要考虑是否要删除或填充这些缺失值。

处理cabin列 ✔️

接下来，我们将处理“cabin”列中的缺失值。这一列提供了乘客的舱位信息。由于缺失值较多，我们可以选择删除该列或根据其他相关信息进行填充。

处理embarked列 ✔️

最后，我们将处理“embarked”列中的缺失值。这一列表示乘客登船的港口。对于这一列，我们可以使用众数来填充缺失值，因为众数是该列中最常见的值。

统计信息和概览 📊

在完成缺失值的处理之后，我们可以使用Pandas的相关函数来计算数据集的统计信息和概览。这些信息可以帮助我们更好地了解数据集的特征和分布。

总结和下一步 📝

处理缺失值是数据分析中的重要步骤。本文介绍了如何使用Pandas库来处理缺失值，并提供了常用的处理方法。通过合理的处理缺失值，我们可以获得准确的分析结果并进行更有意义的数据解读。

下一步，您可以尝试应用这些方法来处理您自己的数据集中的缺失值，并探索适合您数据集的最佳处理方法。

谢谢观看本教程！如果您发现这篇文章有用，请点赞和订阅我们的频道。感谢您的支持，我们会继续制作更多有价值的视频内容。

请注意：本文的示例和代码可能未在实际环境中运行过，仅供参考。