“P.S. 找罗伯特·兰登”和一串乱序的斐波那契数列， 这只是破译“达芬奇密码”的一个开场。随后，密码学家苏菲·奈芙和兰登教授踏上了寻找能解开藏密筒原理的旅程。
密码学在很多我喜欢的电影大片中扮演着重要角色，从“美丽心灵”到“模仿游戏”。这些影片让我们知道加密可以有多种形式，而且早在人类发明电脑之前就被用来保护信息。即便如此，数据加密在一开始还是没有建立在Apache Hadoop中，它是后来才被补充上的。现在Apache Hadoop却成为了金融机构、医疗机构、通讯公司和政府机构用来保护大数据最常用的工具。
什么是HDFS加密？
HDFS一开始就支持通过一种叫加密区域的机制来加密数据。它的工作原理是：一个加密区域基本上就是一个带有加密密钥的HDFS目录，一旦目录被加密密钥加密了，所有目录的的文件以及子文件都会被自动加密。
当使用HDFS加密时，不是HDFS中所有的数据都需要加密；你可以有一些公开的目录，也可以只针对敏感数据加密，其他区域可使用明文密码。Hadoop的用户可以使用自己的加密区域以保护他们的数据不被他人获取，接下来我们会深入探讨这个问题。
关于HDFS加密，我们常常误以为，与大多数的硬盘数据加密方式一样——数据是在向数据节点的硬盘写入时被加密的。实际上，数据在被发送到数据节点之前就已经被加密了。这种体系结构有两点好处：一方面可以保护正在传输的数据，另一方面可以防止密钥在存储数据的数据节点上暴露。
被用来加密HDFS数据的加密算法，是已被行业证明了的高级加密标准，即AES（Advanced Encryption Standard）系统的默认值是AES-128，但是对于组织机构来讲需要配置更高的标准：AES-256。在加密区域的每一个独立的文件都会配有一个随机生成的密钥。这样设计的好处是，如果一个密钥被破解，它只能被用来解密一个独立的文件，而其他文件不受影响。
一些关于HDFS加密的注意事项
1.不能在一个非空目录下建立加密区域。
换言之，如果你把一个包含数据的目录设为加密区域，然后加密所有文件……这是做不到的。HDFS加密的工作原理，需要在一个空目录下建立加密区域。你可以用distcp命令把所有的数据从当前的目录复制到一个新的、空的并且是加密的目录下(然后删除旧的文件)。
2.不可以把整个根目录设为加密区域。
3.目前不支持嵌套的加密区域，但是仍会在路线图中。
你可能想设置整个用户目录作为一个加密区域，之后允许用户自己创建嵌套的加密区域，但是目前还不支持这种技术。我们很期待这种技术的应用，——也许这篇文章发出去后就能实现了。
4.检测你的应用程序。
在很多情况下,由于对加密密钥的用户权限的限制，或者是对加密区域内文件复制粘贴功能的限制，所以很容易导致应用程序中断。
Hadoop密钥管理服务器
加密的关键就是对密钥的管理。每一个加密区域都有一个唯一的密钥，有权限的用户才能使用。每个独立文件也有唯一的密钥并且是随机生成的。所以这些密钥要存储在什么地方，如何管理，如何保护呢？这个时候Hadoop KMS就起作用了。
Apache Hadoop KMS密钥管理服务器：
● 生成并存储加密区域的密钥
● 生成密钥并为文件加密/解密
● 保护并管理这些密钥
KMS是一项在Hadoop集群之外的独立运行的服务，由信息安全组而不是Hadoop管理员进行管理。当关系到加密密钥的管理权限时，建立分工就显得尤为重要。Hadoop管理员有权管理HDFS用户和所有的数据，但没有管理密钥的权限。
在KMS中密码的权限被定义为ACLs (访问列表)，这些ACLs权限决定着哪些用户/群组可以使用加密密钥，也就是所谓的白名单。ACLs还可以用来定义哪些用户/群组禁止访问加密密钥，即黑名单。使用ACLs，用户可以限制特权及管理用户，比如可以限制HDFS用户获取用户数据的权限。
KMS默认情况下通过JKS(Java秘钥存储)实现。JKS将秘密以文件形式存储，就是典型的只受文件系统权限保护。然而JKS的启动，存在很多缺点，不建议用在生产系统中。其中一个缺点就是不够安全，你可以把一个密码放在JKS文件中，但是之后放在哪里，放服务器上的文本文件中么？JKS其他的不足包括：可扩展性和可用性的挑战；没有内置的复制、删除和备份这个JKS文件的机制等。
在这篇文章中，我只是提到了静态数据的HDFS加密及秘钥管理，然而不是所有的数据都保存在HDFS中，有一些敏感数据可能存在HDFS以外的地方，包括一些临时文件，以及正在传输中的文件。以后有机会我会详细讲解其他存储区域的加密方式。
最后送上一段臭名昭著的来自《达芬奇的密码》的变位词，让你感受下解密的快乐：
哦，严酷的魔王！
哦，瘸腿的圣徒！
男人的欺骗是多么黑暗
###
本文由e安在线独家翻译，本文章及图片出于传递更多信息之目的，属于非营利性的翻译转载。如无意中侵犯了某个媒体或个人的知识产权，请联系我们，我们将立即删除。其他媒体、网络或个人从本网下载使用须自负版权等法律责任。
原文链接：http://www.securityweek.com/hadoop-data-encryption-ps-find-robert-langdon
最新评论