StarCluster:StarCluster is an open source cluster-computing toolkit for Amazon's Elastic Compute Cloud (EC2).

StarCluster is an open source cluster-computing toolkit for Amazon's Elastic Compute Cloud (EC2).

分支7Tags21
文件最后提交记录最后更新时间
12 年前
13 年前
12 年前
14 年前
9 年前
12 年前
12 年前
12 年前
16 年前
16 年前
11 年前
11 年前
11 年前
11 年前
14 年前
14 年前
11 年前
12 年前
10 年前

=================== StarCluster v0.95.6

:StarCluster: 云集群计算工具包 :Version: 0.95.6 :Author: Justin Riley justin.t.riley@gmail.com :Team: 学术与研究人员软件工具组 (http://star.mit.edu) :Homepage: http://star.mit.edu/cluster :License: LGPL .. image:: https://secure.travis-ci.org/jtriley/StarCluster.png?branch=develop :target: https://secure.travis-ci.org/jtriley/StarCluster .. image:: https://pypip.in/d/StarCluster/badge.png :target: https://crate.io/packages/StarCluster

描述:

StarCluster 是一款用于在 Amazon Elastic Compute Cloud (EC2) 上创建和管理计算集群的实用工具。StarCluster 利用 Amazon 的 EC2 网络服务,按需创建和销毁 Linux 虚拟机集群。

要在 Amazon EC2 上创建您自己的集群,只需一个 AWS 账户和 StarCluster 即可。StarCluster 具备以下特性:

  • 简单配置 - 提供开箱即用的示例配置
  • 创建/管理集群 - 通过简单的 start 命令在 EC2 上自动启动和配置一个或多个集群
  • 自动化集群设置 - 包括 NFS 共享、Open Grid Scheduler 队列系统、Condor、节点间无密码 SSH 等功能
  • 科学计算 AMI - 提供基于 Ubuntu 11.10 的 EBS 支持 AMI,内置 Hadoop、OpenMPI、ATLAS、LAPACK、NumPy、SciPy、IPython 及其他实用库
  • EBS 卷共享 - 轻松通过 NFS 在集群间共享 Amazon Elastic Block Storage (EBS) 卷,实现持久化存储
  • EBS 支持集群 - 在 EC2 上启动和停止 EBS 支持的集群
  • 集群计算实例 - 支持“集群计算”实例类型
  • 扩展/缩减集群 - 通过添加或移除节点来扩展集群规模
  • 弹性负载均衡 - 基于 Open Grid Scheduler 队列统计信息自动缩减或扩展集群
  • 插件支持 - 允许用户在 StarCluster 默认设置后运行额外的集群设置程序。内置 IPython parallel+notebook、Condor、Hadoop、MPICH2、MySQL 集群、安装 Ubuntu 软件包等插件。

感兴趣吗?请查看 getting started_ 部分了解更多详情。

.. _getting started:

入门指南:

使用 easy_install 安装 StarCluster:

$ easy_install StarCluster

或使用 pip

$ pip install StarCluster

或手动安装:

$ (从 http://star.mit.edu/cluster/downloads.html 下载 StarCluster)
$ tar xvzf starcluster-X.X.X.tar.gz (其中 X.X.X 是版本号)
$ cd starcluster-X.X.X
$ sudo python setup.py install

软件安装完成后,下一步是设置配置文件:

$ starcluster help
    StarCluster - (http://star.mit.edu/cluster)
    Software Tools for Academics and Researchers (STAR)
    请将错误报告发送至 starcluster@mit.edu

    !!! 错误 - 配置文件 /home/user/.starcluster/config 不存在

    选项:
    --------
    [1] 显示 StarCluster 配置模板
    [2] 将配置模板写入 /home/user/.starcluster/config
    [q] 退出

    请输入您的选择:

输入 2 并按回车键选择第二个选项。这将为您提供一个模板,用于创建包含您的 AWS 凭证、集群设置等信息的配置文件。下一步是使用您喜欢的文本编辑器自定义此文件:

$ vi ~/.starcluster/config

此文件包含带注释的示例“集群模板”。集群模板定义了用于启动新集群的一组配置设置。示例配置提供了一个 smallcluster 模板,可直接开箱即用。但首先,您必须填写您的 AWS 凭证和密钥对信息:

[aws info]
    aws_access_key_id = #在此处填写您的 aws access key id
    aws_secret_access_key = #在此处填写您的 secret aws access key
    aws_user_id = #在此处填写您的 12 位 aws 用户 id

下一步是填写您的密钥对信息。如果您还没有密钥对,可以使用 StarCluster 创建一个:

$ starcluster createkey mykey -o ~/.ssh/mykey.rsa

这将在 Amazon EC2 上创建一个名为 mykey 的密钥对,并将私钥保存到 ~/.ssh/mykey.rsa。拥有密钥后,下一步是在 StarCluster 配置文件中填写您的密钥对信息:

[key key-name-here]
    key_location = /path/to/your/keypair.rsa

例如,使用上述 createkey 命令创建的密钥对部分如下所示:

[key mykey]
    key_location = ~/.ssh/mykey.rsa

在配置中定义密钥对后,下一步是使用您在 EC2 上的密钥对名称更新默认集群模板 smallcluster

[cluster smallcluster]
    keyname = key-name-here

例如,smallcluster 模板将更新为:

[cluster smallcluster]
    keyname = mykey

现在配置文件已设置完成,我们可以开始使用 StarCluster 了。接下来,使用示例配置中的默认集群模板 smallcluster 启动一个名为“mycluster”的集群:

$ starcluster start mycluster

配置文件 [global] 部分中的 default_template 设置指定了默认集群模板,在示例配置中它被自动设置为 smallcluster

start 命令完成后,您现在应该拥有一个正常工作的集群。您可以通过运行以下命令以 root 用户身份登录到主节点:

$ starcluster sshmaster mycluster

您还可以使用 putget 命令在本地与集群之间复制文件。要将文件或整个目录从本地计算机复制到集群:

$ starcluster put mycluster /path/to/local/file/or/dir /remote/path/

要将文件或整个目录从集群复制到本地计算机:

$ starcluster get mycluster /path/to/remote/file/or/dir /local/path/

当您使用完集群并希望停止付费时:

$ starcluster terminate mycluster

查看 StarCluster 的其他可用命令:

$ starcluster --help

依赖项:

  • Amazon AWS 账户
  • Python 2.6 或更高版本
  • Boto 2.23.0 或更高版本
  • Paramiko 1.12.1 或更高版本
  • WorkerPool 0.9.2
  • Jinja2 2.7
  • decorator 3.4.0 或更高版本
  • iptools 0.6.1 或更高版本
  • optcomplete 1.2-devel 或更高版本
  • PyCrypto 2.5 或更高版本
  • scp 0.7.1 或更高版本
  • iso8601 0.1.8 或更高版本

了解更多...

观看约 8 分钟的屏幕录制:http://star.mit.edu/cluster

要了解更多信息,请查看文档: http://star.mit.edu/cluster/docs/latest

社区

StarCluster 设有供用户和开发人员使用的邮件列表:

http://star.mit.edu/cluster/mailinglist.html

加入我们在 freenode 上的 IRC 频道 #starcluster。如果您没有 IRC 客户端,可以通过网页浏览器加入 #starcluster 频道:

http://webchat.freenode.net/?channels=starcluster

许可

StarCluster 采用 LGPLv3 许可 有关许可详情,请参见 COPYING.LESSER(LGPL)和 COPYING(GPL)

项目介绍

StarCluster is an open source cluster-computing toolkit for Amazon's Elastic Compute Cloud (EC2).

定制我的领域