用 Pandas 处理结构不佳的 Excel 文件

发布时间：2025-11-04 07:37:53 来源：云智核 作者：人工智能

用pandas很容易读取Excel文件并将数据转换为DataFrame。理结然而现实世界中的佳的件Excel文件往往构造不佳，在那些数据散落在工作表中的理结情况下，你可能需要定制读取数据的佳的件方式。本文将讨论如何使用pandas和openpyxl来读取这些类型的理结Excel文件，并干净地将数据转换为适合进一步分析的佳的件DataFrame。

pandas 的理结 read_excel函数在读取Excel工作表方面做得很好。然而，佳的件在数据不是理结从A1单元格开始的连续表格的情况下，结果可能不是佳的件你所期望的那样。

比如当你尝试使用 read_excel(src_file)读取下面这个电子表格样本。理结

你会得到一些下面这样的佳的件东西。

这些结果包括很多 Unnamed的理结列、行内的佳的高防服务器件标题标签以及一些我们不需要的额外列。

对于这个数据集，理结最简单的解决方案是使用 read_excel()​的 header​和 usecols​参数。尤其是 usecols参数，对于控制你想包括的列非常有用。

如果你想继续学习这些例子，文件在github上。

下面是一个替代方法，只读取我们需要的数据。

import pandas as pd

from pathlib importPath

src_file = Path.cwd() / shipping_tables.xlsx

产生的DataFrame只包含我们需要的数据。在这个例子中，我们特意排除了备注栏和日期栏。

usecols​可以接受Excel范围，如 B:F​，并只读入这些列。header​参数期望一个定义标题列的单一整数。这个值是以0为索引的，所以我们传入 1，尽管这是Excel的服务器租用第2行。

在某些情况下，我们可能希望将列定义为一个数字列表。在这个例子中，我们可以定义为整数的列表。

如果你对一个大的数据集有某种想要遵循的数字模式（即每3列或只有偶数列），这种方法可能会很有用。

pandas的 usecols也可以接受一个列名的列表。这段代码将创建一个等效的DataFrame。

# Define a more complex function:

def column_check(x):

ifunnamedin x.lower():

returnFalse

ifpriorityin x.lower():

returnFalse

iforderin x.lower():

returnTrue

returnTrue

需要记住的关键概念是，该函数将按名称解析每一列，必须为每一列返回 True​或 False​。那些被评估为 True的列将被包括在内。

另一种使用可调用函数的方法是包含一个 lambda表达式。这里有一个例子，我们想只包括一个定义好的列的列表。我们通过将名称转换为小写字母来进行规范化，以便于比较。

cols_to_use = [item_type, order id, order date, state, priority]

df = pd.read_excel(src_file,

header=1,

可调用函数给了我们很大的灵活性来处理现实世界中混乱的WordPress模板Excel文件。

在某些情况下，数据在Excel中可以更加模糊不清。在这个例子中，我们有一个叫做 ship_cost的表，我们想读取它。如果你必须处理这样的文件，用我们到目前为止讨论过的pandas选项来读入可能是个挑战。

在这种情况下，我们可以直接使用openpyxl来解析文件并将数据转换成pandas DataFrame。事实上，数据是在一个Excel表格中，可以使这个过程更容易一些。

下面是如何使用openpyxl来读取Excel文件。

from openpyxl import load_workbook

import pandas as pd

from pathlib importPath

src_file = src_file = Path.cwd() / shipping_tables.xlsx

这将加载整个工作簿。如果我们想看到所有的工作表。

要访问具体的工作表。

要查看所有命名的表的列表。

这个键对应于我们在Excel中分配给表的名称。现在我们访问该表，以获得相当于Excel的范围。

lookup_table = sheet.tables[ship_cost]

这就成功了。我们现在知道了我们要加载的数据范围。最后一步是将这个范围转换为pandas DataFrame。下面是一个简短的代码片段，用来循环浏览每一行并转换为一个DataFrame。

# Access the data in the table range

data = sheet[lookup_table.ref]

rows_list = []

# Loop through each row and get the values in the cells

for row in data:

# Get a list of all columns in each row

cols = []

for col in row:

cols.append(col.value)

rows_list.append(cols)

# Create a pandas dataframe from the rows_list.

# The first row is the column names

下面是产生的数据框架。

现在我们有了干净的表格，可以用于进一步的计算。

在一个理想的条件下，我们使用的数据应该拥有一个简单一致的格式。在本文的例子中，我们可以很容易地删除行和列，使之更符合格式要求。然而，有些时候，这样做是不可行的，也是不可取的。好消息是，pandas和openpyxl为我们提供了读取Excel数据所需的所有工具。​

相关文章