Data Wrangler 是一种基于笔记本的工具,提供用于探索数据分析的沉浸式界面。 该功能将网格式数据显示与动态摘要统计信息、内置可视化效果和常见数据清理操作库相结合。 只需执行几个步骤即可应用每个作,实时更新数据显示,并在 pandas 或 PySpark 中生成代码,你可以将其保存回笔记本作为可重用函数。 本文重点介绍探索和转换 pandas 数据帧。 有关将 Data Wrangler 与 Spark DataFrame 配合使用的详细信息,请参阅 此资源。
先决条件
获取 Microsoft Fabric 订阅。 或者注册免费的 Microsoft Fabric 试用版。
登录 Microsoft Fabric。
使用主页左下侧的体验切换器切换到 Fabric。
限制
- 目前仅 pandas 数据帧支持自定义代码操作。
- Data Wrangler 显示器在大型监视器上效果最佳。 但是,可以最小化或隐藏界面的不同部分以适应较小的屏幕。
启动数据整理器
直接从 Microsoft Fabric 笔记本启动 Data Wrangler,以浏览和转换任何 pandas 或 Spark 数据帧。 有关将 Data Wrangler 与 Spark 数据帧配合使用的详细信息,请参阅 此配套文章。 此代码片段演示如何将示例数据读取到 pandas DataFrame:
import pandas as pd
# Read a CSV into a Pandas DataFrame
df = pd.read_csv("https://raw.githubusercontent.com/plotly/datasets/master/titanic.csv")
display(df)
在笔记本功能区“开始”选项卡中,使用 Data Wrangler 下拉列表浏览可用于编辑的活动数据帧。 选择要在数据整理器中打开的 pandas DataFrame。
提示
在笔记本内核繁忙时,无法打开数据整理程序。 执行单元格必须先完成,然后 Data Wrangler 才能启动,如以下屏幕截图所示:
选择自定义示例
要使用数据整理器打开任何活动数据帧的自定义示例,从下拉列表中选择“选择自定义示例”,如以下屏幕截图所示:
此操作将打开一个对话框,您可以在其中选择选项来指定所需数据样例的大小(行数)以及采样方法(第一条记录、最后一条记录或随机集合)。 DataFrame 的前 5,000 行充当默认示例大小,如以下屏幕截图所示:
查看摘要统计信息
当数据整理器加载时,它会在“摘要”面板中显示所选 DataFrame 的描述性概述。 此概述包括有关 DataFrame 维度、缺失值等的信息。 选择 Data Wrangler 网格中的任何列时,“摘要”面板将更新以显示有关该特定列的描述性统计信息。 其标头中还会提供有关每列的快速见解。
提示
特定于列的统计信息和视觉对象(在“摘要”面板和列标题中)取决于列数据类型。 例如,仅当列强制转换为数值类型时,数值列的装箱直方图才会显示在列标头中,如屏幕截图所示:
浏览数据清理操作
“操作”面板中提供了一个可搜索的数据清理操作列表。 从“操作”面板中选择数据清理操作时,系统会提示提供目标列或多个列以及完成操作所需的任何参数。 例如,提示以数字方式缩放列需要新的值范围,如以下屏幕截图所示:
提示
可从每个列标题的菜单中应用较小的操作选择,如以下屏幕截图所示:
预览和应用操作
所选操作的结果会自动在数据整理器显示网格中预览,并且相应的代码会自动出现在网格下方的面板中。 若要提交预览代码,请在任一位置选择“应用”。 要删除预览的代码并尝试新的操作,请选择“放弃”,如以下屏幕截图所示:
应用操作后,数据整理器显示网格和摘要统计信息将更新以反映结果。 代码显示在“清理步骤”面板中已提交操作的正在运行列表中,如以下屏幕截图所示:
提示
始终可以撤消最近应用的步骤。 在“清理步骤”面板中,将光标悬停在最近应用的步骤上时,会出现垃圾桶图标,如以下屏幕截图所示:
下表汇总了数据整理器当前支持的操作:
| 操作 | 描述 |
|---|---|
| Sort | 按升序或降序排序 |
| Filter | 根据一个或多个条件筛选行 |
| 独热编码 | 为现有列中每个唯一值创建新列,指示每行是否存在这些值 |
| 多标签二值化器 | 使用分隔符拆分数据并为每个类别创建新列,如果行具有该类别,则标记 1;如果没有,则为 0 |
| 更改列类型 | 更改列的数据类型 |
| 删除列 | 删除一个或多个列 |
| 选择列 | 选择要保留的一个或多个列,然后删除其余列 |
| 重命名列 | 重命名列 |
| 删除缺少的值 | 删除包含缺失值的行 |
| 删除重复行 | 删除一列或多列中具有重复值的所有行 |
| 填充缺失值 | 将缺少值的单元格替换为新值 |
| 查找和替换 | 将单元格替换为完全匹配的模式 |
| 按列分组和聚合 | 按列值分组并聚合结果 |
| 剥离空格 | 删除文本开头和结尾的空格 |
| 拆分文本 | 根据用户定义的分隔符将一列拆分为多个列 |
| 将文本转换为小写 | 将文本转换为小写 |
| 将文本转换为大写 | 将文本转换为大写 |
| 缩放最小/最大值 | 在最小值和最大值之间缩放数字列 |
| 快速填充 | 基于从现有列派生的示例自动创建新列 |
修改显示
可以随时使用数据整理器显示网格上方工具栏中的“视图”选项卡自定义界面。 此选项可以根据首选项和屏幕大小隐藏或显示不同的窗格,如以下屏幕截图所示:
保存和导出代码
数据整理器显示网格上方的工具栏提供了保存生成的代码的选项。 可以将代码复制到剪贴板,或将其作为函数导出到笔记本。 导出代码会关闭数据整理器并将新函数添加到笔记本中的代码单元格。 还可以将清理的数据帧下载为 CSV 文件。
相关内容
- 若要使用 Spark 数据帧试用 Data Wrangler,请参阅 此配套文章
- 有关 Fabric 中 Data Wrangler 的实时演示,请观看 我们 Guy in a Cube 的朋友的这段视频
- 若要在 Visual Studio Code 中试用 Data Wrangler,请转到 VS Code 中的 Data Wrangler
- 我们漏掉了你需要的功能吗? 请告诉我们! 在Fabric Ideas 论坛上推荐