自从我们上一篇关于如何使用 MinIO 扩展 Snowflake 实现的博客文章以来,Snowflake 对外部表的支持已经发生了重大更新。外部表允许 Snowflake 用户将对象存储(如 MinIO)中的数据视为 Snowflake 中的只读表,而无需迁移。Snowflake 对其外部表功能的持续增强清楚地表明了此功能的日益普及。这是有道理的,因为对于组织来说,无论数据位于何处,无论是在本地、公有云还是在边缘,连接和利用其数据是多么重要。
这些增强功能使 Snowflake 中的外部表更加高效,旨在简化数据管理并增强安全性。这篇博文旨在概述一些关键的增强功能,这些增强功能可以帮助您构建自己的外部表功能。
用于 Parquet 文件的矢量化扫描仪
最显著的改进之一是引入了用于 Parquet 文件的矢量化扫描仪。与以前的非矢量化扫描仪相比,这项新功能将扫描性能提高了 8 倍,查询性能提高了 2 倍。通过充分利用 Parquet 的列式格式,该扫描仪显著提高了处理存储在对象存储中的大型数据集的效率。这意味着可以更快地进行数据检索和处理,从而在 Snowflake 中更顺畅、更高效地执行分析任务。
简化的屏蔽策略
安全和数据保护对于每个数据基础设施都至关重要。认识到这一点,Snowflake在简化敏感数据的管理方式方面取得了长足的进步。管理员现在可以直接将屏蔽策略与外部表中的虚拟列相关联。以前,这需要创建视图来屏蔽敏感列,从而增加了管理外部表中敏感信息的过程的复杂性。此更新简化了数据治理,确保敏感信息受到保护,而无需其他配置。
Iceberg Tables 的安全数据共享
Snowflake 现在支持使用共享对 Iceberg 表进行安全数据共享。这允许用户直接共享 Iceberg 表,而无需先创建安全视图。此增强功能不仅简化了共享过程,还确保了数据共享的安全且符合组织策略。对于希望在对象存储中利用 Iceberg 表实现协作环境的组织来说,这是向前迈出的重要一步。这可能是许多人开始使用 Iceberg 和 MinIO 以及 Snowflake 构建开放表格式数据湖的推动力。
混合表
Snowflake 中混合表的引入结合了事务数据库和分析数据库的优点。这项新功能在处理和集成数据方面提供了更大的灵活性,这一用例对外部表特别有用。混合表允许更动态和更通用的数据管理,支持更广泛的用例并改进整体数据策略。
检查更新
这些更新使 Snowflake 的外部表功能更强大、更易于使用,从而帮助组织更有效、更安全地管理其数据。无论您是要处理大型数据集、敏感信息还是复杂的数据共享需求,这些新功能都能提供增强数据策略所需的工具。
有关这些更新和其他更新的更多详细信息,请查看 Snowflake 的官方文档和发行说明。通过掌握这些更新,您可以确保在 Snowflake 中对外部表的使用保持优化和安全,通过利用您的数据来充分利用这个强大的数据平台所提供的功能,无论数据位于何处。