在AWS中设置Cassandra集群

Apache Cassandra是一个NoSQL数据库，它使用一致的哈希机制可以轻松进行水平扩展。七年前，我尝试了它，并决定不将其用于我的附带项目，因为它太新了。现在情况有所不同，Cassandra早已建立起来，背后有一家公司（DataStax），还有更多的工具，文档和社区支持。因此，我再次决定尝试Cassandra。

这次，我需要它在AWS上的集群中运行，因此我继续设置了这样的集群。谷歌搜索如何执行该操作会给出一些有趣的结果，例如this ， this和this ，但是它们要么不完整，要么已经过时，或者有太多无关紧要的细节。因此，它们只是适度的帮助。

我的目标是使用CloudFormation（或可能使用Terraform）来启动具有Cassandra自动缩放组（在单个区域中）的堆栈，该组可以随增加组中节点的数量而轻松地增长。

另外，为了使Web应用程序连接到Cassandra而不用对节点IP进行硬编码，我想在所有为我做轮询的Cassandra节点的前面都有一个负载均衡器。替代方法是进行客户端轮询，但这将意味着客户端上的一些额外复杂性，而在Cassandra自动扩展组前面使用负载平衡器似乎可以避免。

我的CloudFormation JSON中的相关位可以在这里看到。它能做什么：

设置3个私有子网（欧洲西部每个可用区1个）
创建一个安全组，该安全组允许传入和传出端口允许cassandra接受连接（9042），并允许节点进行八卦（7000/7001）。请注意，只能从VPC内部访问端口，不允许外部连接。 SSH仅通过堡垒主机。
为所有客户端将要连接的端口9042定义一个TCP负载平衡器。负载均衡器还需要定义一个所谓的“目标组”。
使用预先配置的节点数配置自动扩展组。自动扩展组具有对“目标组”的引用，因此负载均衡器始终会看到自动扩展组中的所有节点
根据启动配置，自动缩放组中的每个节点都是相同的。启动配置在初始化时运行一些脚本。这些脚本将在每个节点上运行-不管是最初还是在某个节点死亡而另一个节点在其位置生成的情况下，或者在群集必须扩展时。这些脚本是从S3获取的，您可以在其中手动或通过自动过程发布（和版本化）脚本。
注意：这不会配置特定的EBS卷，实际上，如果实例存储不足，则可能需要配置并附加它们。不过，由于安全地复制了数据，因此不必担心节点会死。

那是最简单的部分–一堆AWS资源和端口配置。特定于Cassandra的设置要困难一些，因为它需要了解Cassandra的功能。

这两个脚本是setup-cassandra.sh和update-cassandra-cluster-config.py ，因此是bash和python。 Bash用于设置机器，而python用于特定于Cassandra的东西。除了使用bash脚本之外，还可以使用预先构建的AMI（图像），例如带有打包程序，但是由于仅安装了2个软件，所以我认为支持AMI会有点开销。

bash脚本可以在这里看到，只需安装Java 8和最新的Cassandra，运行python脚本，运行Cassandra服务并创建（如果需要）具有正确复制配置的键空间。这里有一些注意事项– cassandra.yaml.template可以通过cloudformation脚本提供，而不是通过bash来获取（并通过存储桶名称）；您也可以在python脚本本身中获取它-这是优先选择的问题。未将Cassandra配置为与SSL配合使用，这通常不是一个好主意，但是SSL配置超出了基本设置的范围。最后，脚本等待Cassandra进程运行（使用while / sleep循环），然后根据需要创建键空间。必须使用NetworkTopologyStrategy创建密钥空间（=数据库），并且必须配置特定数据中心（= AWS区域）的副本数。对于我们将拥有节点的3个可用性区域，该值为3。这意味着每个可用区中都有一个副本（虽然确实如此，但看起来像一个“机架”）。

python脚本做了一些非常重要的配置-如果没有它们，集群将无法工作。（我通常不会使用Python，所以请随时批评我的Python代码）。该脚本执行以下操作：

获取当前的自动伸缩组详细信息（使用AWS EC2 API）
按时间排序实例
获取组中的第一个实例以将其分配为种子节点
在配置文件中设置种子节点（通过替换占位符）
将listen_address（因此rpc_address）设置为节点的专用IP，以允许Cassandra侦听传入的连接

指定种子节点很重要，因为所有群集节点都必须通过指定至少一个种子来加入群集。您可以获取前两个节点，而不仅仅是一个，但这无关紧要。请注意，种子节点并不总是固定的，它只是集群中最旧的节点。如果某个最旧的节点在某个时刻终止，则每个新节点将使用第二个最旧的节点作为种子。

我没有显示的是cassandra.yaml.template文件。它基本上是标准Cassandra安装中的cassandra.yaml文件的副本，但有一些更改：

cluster_name修改为与您的应用程序名称匹配。这只是出于人类可读的目的，与您设置的内容无关。
allocate_tokens_for_keyspace: your_keyspace取消注释，并且该键空间设置为与您的主键空间匹配。这将启用Cassandra 3.0中的新令牌分发算法。它允许在节点之间平均分配数据。
endpoint_snitch: Ec2Snitch设置了Ec2Snitch而不是SimpleSnitch来利用AWS元数据API。请注意，此设置位于单个区域中。对于多区域而言，还有另一个小问题，以及暴露端口和更改广播地址的一些其他复杂情况。
如上所述，将$ {private_ip}和$ {seeds}占位符放置在适当的位置（IP的listen_address和rpc_address）以允许替换。

通过它们，您可以将Cassandra群集作为AWS堆栈的一部分运行，该群集是可自动扩展的，不需要任何手动干预-既无需设置，也无需扩展。好吧，据称–一旦碰到现实的用例，可能必须解决一些问题。为了使客户端连接到群集，只需使用负载均衡器DNS名称（您可以在每个应用程序节点上的配置文件中打印它）