使用思维向量实现文本到图像合成

本项目是基于TensorFlow的实验性实现，用于从标题生成图像，使用的是SkipThought向量技术。图像由论文《生成对抗网络文本到图像合成》中提出的GAN-CLS算法合成。该实现基于优秀的TensorFlow中的DCGAN。模型架构如下图所示，蓝色条代表标题的SkipThought向量。

模型架构

图片来源：《生成对抗网络文本到图像合成》论文

系统需求

执行python download_datasets.py脚本可以自动下载和解压所需的数据集和模型，这需要数GB的存储空间。
目前模型在花卉数据集上训练。请从此链接下载图像并保存至Data/flowers/jpg目录下。同时从此链接下载标题，解压缩后将text_c10文件夹复制到Data/flowers目录内。
按照此处说明下载预训练的SkipThought向量模型和词汇表，并将其保存在Data/skipthoughts目录下。
在Data目录下创建空文件夹samples、val_samples和Models，这些将用来存放生成的图像样例和训练好的模型。

数据处理：提取花卉数据集的SkipThought向量：
```
python data_loader.py --data_set="flowers"
```
训练
- 基础用法：python train.py --data_set="flowers"
- 可选项：
  - z_dim：噪声维度，默认为100。
  - t_dim：文本特征维度，默认为256。
  - batch_size：批次大小，默认为64。
  - image_size：图像尺寸，默认为64。
  - 其余参数如gf_dim、df_dim、gfc_dim、caption_vector_length、学习率等也都有默认值。
从标题生成图像
- 将标题写入文本文件并保存为Data/sample_captions.txt，然后生成这些标题的思维向量：
```
python generate_thought_vectors.py --caption_file="Data/sample_captions.txt"
```
- 接着使用以下命令根据思维向量生成图像：
```
python generate_images.py --model_path=<训练模型路径> --n_images=8
```
参数n_images指定每个标题生成的图像数量，生成的图像将保存于Data/val_samples目录下。通过python generate_images.py --help获取更多选项。

以下是根据生成模型的标题所得到的图像示例。