StarCluster is an open source cluster-computing toolkit for Amazon's Elastic Compute Cloud (EC2).
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 12 年前 | ||
| 13 年前 | ||
| 12 年前 | ||
| 14 年前 | ||
| 9 年前 | ||
| 12 年前 | ||
| 12 年前 | ||
| 12 年前 | ||
| 16 年前 | ||
| 16 年前 | ||
| 11 年前 | ||
| 11 年前 | ||
| 11 年前 | ||
| 11 年前 | ||
| 14 年前 | ||
| 14 年前 | ||
| 11 年前 | ||
| 12 年前 | ||
| 10 年前 |
=================== StarCluster v0.95.6
:StarCluster: 云集群计算工具包 :Version: 0.95.6 :Author: Justin Riley justin.t.riley@gmail.com :Team: 学术与研究人员软件工具组 (http://star.mit.edu) :Homepage: http://star.mit.edu/cluster :License: LGPL .. image:: https://secure.travis-ci.org/jtriley/StarCluster.png?branch=develop :target: https://secure.travis-ci.org/jtriley/StarCluster .. image:: https://pypip.in/d/StarCluster/badge.png :target: https://crate.io/packages/StarCluster
描述:
StarCluster 是一款用于在 Amazon Elastic Compute Cloud (EC2) 上创建和管理计算集群的实用工具。StarCluster 利用 Amazon 的 EC2 网络服务,按需创建和销毁 Linux 虚拟机集群。
要在 Amazon EC2 上创建您自己的集群,只需一个 AWS 账户和 StarCluster 即可。StarCluster 具备以下特性:
- 简单配置 - 提供开箱即用的示例配置
- 创建/管理集群 - 通过简单的 start 命令在 EC2 上自动启动和配置一个或多个集群
- 自动化集群设置 - 包括 NFS 共享、Open Grid Scheduler 队列系统、Condor、节点间无密码 SSH 等功能
- 科学计算 AMI - 提供基于 Ubuntu 11.10 的 EBS 支持 AMI,内置 Hadoop、OpenMPI、ATLAS、LAPACK、NumPy、SciPy、IPython 及其他实用库
- EBS 卷共享 - 轻松通过 NFS 在集群间共享 Amazon Elastic Block Storage (EBS) 卷,实现持久化存储
- EBS 支持集群 - 在 EC2 上启动和停止 EBS 支持的集群
- 集群计算实例 - 支持“集群计算”实例类型
- 扩展/缩减集群 - 通过添加或移除节点来扩展集群规模
- 弹性负载均衡 - 基于 Open Grid Scheduler 队列统计信息自动缩减或扩展集群
- 插件支持 - 允许用户在 StarCluster 默认设置后运行额外的集群设置程序。内置 IPython parallel+notebook、Condor、Hadoop、MPICH2、MySQL 集群、安装 Ubuntu 软件包等插件。
感兴趣吗?请查看 getting started_ 部分了解更多详情。
.. _getting started:
入门指南:
使用 easy_install 安装 StarCluster:
$ easy_install StarCluster
或使用 pip:
$ pip install StarCluster
或手动安装:
$ (从 http://star.mit.edu/cluster/downloads.html 下载 StarCluster)
$ tar xvzf starcluster-X.X.X.tar.gz (其中 X.X.X 是版本号)
$ cd starcluster-X.X.X
$ sudo python setup.py install
软件安装完成后,下一步是设置配置文件:
$ starcluster help
StarCluster - (http://star.mit.edu/cluster)
Software Tools for Academics and Researchers (STAR)
请将错误报告发送至 starcluster@mit.edu
!!! 错误 - 配置文件 /home/user/.starcluster/config 不存在
选项:
--------
[1] 显示 StarCluster 配置模板
[2] 将配置模板写入 /home/user/.starcluster/config
[q] 退出
请输入您的选择:
输入 2 并按回车键选择第二个选项。这将为您提供一个模板,用于创建包含您的 AWS 凭证、集群设置等信息的配置文件。下一步是使用您喜欢的文本编辑器自定义此文件:
$ vi ~/.starcluster/config
此文件包含带注释的示例“集群模板”。集群模板定义了用于启动新集群的一组配置设置。示例配置提供了一个 smallcluster 模板,可直接开箱即用。但首先,您必须填写您的 AWS 凭证和密钥对信息:
[aws info]
aws_access_key_id = #在此处填写您的 aws access key id
aws_secret_access_key = #在此处填写您的 secret aws access key
aws_user_id = #在此处填写您的 12 位 aws 用户 id
下一步是填写您的密钥对信息。如果您还没有密钥对,可以使用 StarCluster 创建一个:
$ starcluster createkey mykey -o ~/.ssh/mykey.rsa
这将在 Amazon EC2 上创建一个名为 mykey 的密钥对,并将私钥保存到 ~/.ssh/mykey.rsa。拥有密钥后,下一步是在 StarCluster 配置文件中填写您的密钥对信息:
[key key-name-here]
key_location = /path/to/your/keypair.rsa
例如,使用上述 createkey 命令创建的密钥对部分如下所示:
[key mykey]
key_location = ~/.ssh/mykey.rsa
在配置中定义密钥对后,下一步是使用您在 EC2 上的密钥对名称更新默认集群模板 smallcluster:
[cluster smallcluster]
keyname = key-name-here
例如,smallcluster 模板将更新为:
[cluster smallcluster]
keyname = mykey
现在配置文件已设置完成,我们可以开始使用 StarCluster 了。接下来,使用示例配置中的默认集群模板 smallcluster 启动一个名为“mycluster”的集群:
$ starcluster start mycluster
配置文件 [global] 部分中的 default_template 设置指定了默认集群模板,在示例配置中它被自动设置为 smallcluster。
start 命令完成后,您现在应该拥有一个正常工作的集群。您可以通过运行以下命令以 root 用户身份登录到主节点:
$ starcluster sshmaster mycluster
您还可以使用 put 和 get 命令在本地与集群之间复制文件。要将文件或整个目录从本地计算机复制到集群:
$ starcluster put mycluster /path/to/local/file/or/dir /remote/path/
要将文件或整个目录从集群复制到本地计算机:
$ starcluster get mycluster /path/to/remote/file/or/dir /local/path/
当您使用完集群并希望停止付费时:
$ starcluster terminate mycluster
查看 StarCluster 的其他可用命令:
$ starcluster --help
依赖项:
- Amazon AWS 账户
- Python 2.6 或更高版本
- Boto 2.23.0 或更高版本
- Paramiko 1.12.1 或更高版本
- WorkerPool 0.9.2
- Jinja2 2.7
- decorator 3.4.0 或更高版本
- iptools 0.6.1 或更高版本
- optcomplete 1.2-devel 或更高版本
- PyCrypto 2.5 或更高版本
- scp 0.7.1 或更高版本
- iso8601 0.1.8 或更高版本
了解更多...
观看约 8 分钟的屏幕录制:http://star.mit.edu/cluster
要了解更多信息,请查看文档: http://star.mit.edu/cluster/docs/latest
社区
StarCluster 设有供用户和开发人员使用的邮件列表:
http://star.mit.edu/cluster/mailinglist.html
加入我们在 freenode 上的 IRC 频道 #starcluster。如果您没有 IRC 客户端,可以通过网页浏览器加入 #starcluster 频道:
http://webchat.freenode.net/?channels=starcluster
许可
StarCluster 采用 LGPLv3 许可 有关许可详情,请参见 COPYING.LESSER(LGPL)和 COPYING(GPL)