zhihuhelp:便捷抓取知乎内容生成Epub电子书与HTML

Star0
0
代码
代码
Issues
Pull Requests
项目讨论
Wiki
分析
Star0
0

基于node&typescript重写知乎助手

分支14Tags17
文件最后提交记录最后更新时间
.github
feat: 更新mac自动构建工作流的上传逻辑
3 年前
.vscode
feat: 调整数据库配置
4 年前
client
feat: 更新changlog, 限制电子书最长文件名
3 年前
doc
feat: 添加todo
3 年前
src
feat: 将:替换为_, 以便保证输出的文件名合法
3 年前
.babelrc
Merge remote-tracking branch 'origin/master' into yaozeyuan/dev/20220606 # Conflicts: # .npmrc # .yarnrc # client/src/view/customer_task/index.vue # client/src/view/login/index.vue # gui/src/view/customer_task/index.vue # package.json # pnpm-lock.yaml # src/config/request.ts # src/index.ts # src/library/http/index.ts # src/library/zhihu_encrypt/index.ts # src/library/zhihu_encrypt/lib/zhihu_encrypt.ts # src/public/js-rpc/renderer.js # yarn.lock
3 年前
.env.example
feat: 初始化项目
7 年前
.eslintignore
feat: 规范代码
4 年前
.eslintrc
feat: 安装prettier&eslint, 以便实现代码规范化
4 年前
.gitignore
feat: 提交代码(Win和Linux上对于换行的要求不一样, 导致linux认为所有代码都被更新过)
7 年前
.npmrc
feat: 尝试改为使用pnpm进行安装
3 年前
.prettierrc
feat: 提交代码(Win和Linux上对于换行的要求不一样, 导致linux认为所有代码都被更新过)
7 年前
.yarnrc
feat: 更新yarnrc配置
3 年前
LICENSE
feat: 更新项目目标
7 年前
README.md
feat: 更新下载地址
6 个月前
changelog.md
feat: 更新changlog, 限制电子书最长文件名
3 年前
demo.config.json
feat: local_config应该是config
7 年前
demo.customer_task_config.json
feat: 改为每10000个问题保存一本电子书
3 年前
demo.task_config_list.json
feat: 基本配置数据结构设计完毕
7 年前
package.json
feat: 更新版本号
3 年前
pnpm-lock.yaml
feat: 将:替换为_, 以便保证输出的文件名合法
3 年前
tsconfig.json
feat: 精简tsconfig配置文件
4 年前
tslint.json
fix: 规范配置文件
7 年前
ts学习笔记.md
feat: 测试action trigger是否有效
3 年前

项目说明

知乎助手 由 姚泽源 创作，采用 MIT 协议进行许可。

  • 项目基于知乎现有接口+TypeScript 构建，为知友提供方便的, 以供自己阅读/自身结集整理为目的的, 将知乎内容转为 Epub 电子书的途径

使用说明

  1. 下载软件安装包, 双击安装
  2. 在任务输入框中输入待抓取的网址信息
  3. 点击开始执行按钮
  4. 执行完毕后会打开电子书所在文件夹, 使用多看阅读或 Win10 下双击使用 Edge 浏览器打开均可
  5. 输出文件
    1. 知乎助手输出的电子书\epub内, 为输出的 Epub 电子书, 可以直接使用电子书阅读器阅读
    2. 知乎助手输出的电子书\html内, 为输出的网页版答案列表
      1. html文件夹中为按回答分割的单个回答页面列表, index.html为目录页
      2. 单文件版文件夹中为整个文件, 可以使用浏览器打开后, 直接打印为 PDF 书籍
  6. 使用示例 => 使用说明

注意事项

  1. 在生成电子书时可能会有卡顿, 根据电子书的体积(100k~2G)卡顿时间在 1s~1 分钟不等, 函请谅解
  2. 所有图片缓存都会存在安装目录下, 随着制作的电子书数量增加, 体积可能会非常大, 因此建议将软件安装在非系统盘根目录, 体积大了直接删除即可

知乎助手支持收集的任务类型

网址类型 描述 示例
指定知乎用户的全部提问/回答/想法/赞同过的回答/赞同过的文章/关注过的问题 用户个人主页地址 http://www.zhihu.com/people/yyln2016
专栏 专栏网址 http://zhuanlan.zhihu.com/yyln2016
文章 文章地址 https://zhuanlan.zhihu.com/p/58653502
话题 知乎话题地址，
保存话题信息和话题精华中的答案		 http://www.zhihu.com/topic/20024374
问题 问题地址 https://www.zhihu.com/question/26784045
回答 答案地址 https://www.zhihu.com/question/26784045/answer/178802510
想法 想法地址 https://www.zhihu.com/pin/1013109294408986624
收藏夹(公开/私人) 知乎公开收藏夹地址，
只保存收藏夹信息和收藏夹内的答案, 由于获取不到文章列表, 所以无法保存文章
只能保存所登录账号的私密收藏夹夹		 http://www.zhihu.com/collection/19555617

配置项说明

  1. 电子书名
    1. 最终生成的电子书名
  2. 抓取任务
    1. 支持三种模式:
      1. 默认独立输出单本电子书: 按子任务分别输出电子书 -> 不允许自定义电子书名
      2. 合并混排输出: 输出一本电子书, 电子书内容为将多个子任务的内容混排后进行输出 -> 允许自定义电子书名
      3. 合并按顺序输出: 输出一本电子书, 但内部按子任务进行合并排序, 每个子任务是一个章节 -> 允许自定义电子书名
  3. 排序规则
    1. 可以按照: 创建时间/更新时间/赞同数/回答数对内容进行排序
    2. 当有多个排序规则时, 排序优先级按从上到下进行
  4. 图片质量
    1. 高清 => 默认值
    2. 无图 => 完全没有图片
    3. 原图 => 图片原图, 会导致电子书体积过大, 一般不建议使用
  5. 自动分卷
    1. 每本电子书内最多可有的(问题+想法+文章)总数
    2. 超过该数值会对电子书进行自动分卷, 输出名为"电子书-卷 1"/"电子书-卷 2"/"电子书-卷 3"/etc 的 n 个文件
  6. 备注
    1. 用于保存备注信息
  7. 配置文件内容
    1. 最终生成的配置文件, debug 用

问题反馈

如有 bug, 烦请邮件告知

务必附上出现 bug 时的配置文件哦

目标分解

  1. 基础功能

  2. 扩展功能

  3. todo

  4. fixed bug list

  5. 二期规划

    1. 项目目标
      1. 制作电子书, 方便自己阅读
        1. 而不是制作电子书, 以对外发布
        2. 不需要商业化
        3. 因此不需要复杂的排版功能
        4. 关键在于, 是否方便
      2. 需要
        1. 收集功能
        2. 简单自定义内容
    2. 电子书制作模式
      1. 基础模式
        1. 选择数据源
          1. 问题/答案/收藏夹/话题/想法/专栏/文章/用户回答/用户提问过的问题/用户关注过的问题/用户赞同过的回答&文章/用户想法
        2. 确认输出模式
          1. 排序模式
            1. 正序/倒序
            2. 问题与文章
              1. 赞同数
              2. 评论数
              3. 答案/文章创建时间
              4. 答案/文章最后更新时间
              5. 收藏时间-可选
            3. 想法
              1. 发布时间
              2. 赞同数
              3. 评论数
              4. 转发数
            4. 用户故事
              1. 支持按照赞同时间顺序
                1. 正序/倒序
            5. 用户关注过的问题
              1. 支持按照关注时间顺序
                1. 正序/倒序
            6. 问题列表/混排模式
              1. 支持按照原始设定顺序
              2. 答案视为一个问题
              3. 文章也视为一个问题
              4. 按以下进行排序
                1. 总答案赞同数
                2. 问题关注人数
                3. 问题浏览数
                4. 问题创建时间
                5. 问题最后编辑时间
            7. 单纯收藏夹
              1. 支持按收藏时间排序
          2. 过滤条件
            1. 正序/倒序
              1. 问题与文章
                1. 赞同数
                2. 评论数
                3. 答案/文章创建时间
                4. 答案/文章最后更新时间
              2. 想法
                1. 发布时间
                2. 赞同数
                3. 评论数
                4. 转发数
            2. 前 n 条/前百分之 n
            3. 至少 m 条
            4. 至多 y 条
          3. 图片配置
            1. 原图
            2. 默认
            3. 无图
            4. 自定义逻辑
              1. 按最小宽高(或/且)
                1. 宽大于指定值 => 使用原图
                2. 高大于指定值 => 使用原图
        3. 输出单位
          1. 如果是简单类型(话题/专栏/用户回答/用户问题/用户想法/收藏夹/单个问题), 单独输出一本电子书, 允许自定义书名
          2. 如果是复杂类型(两种及以上类型混合), 按问题/文章/想法三大类聚合输出, 不支持分章节
        4. 存储单位
          1. 基本单位
            1. 回答
            2. 文章
            3. 想法
          2. id 统一使用 varchar(100)
          3. 使用基本接口进行查询
          4. 其余数据使用这两者进行构建, 例如, 关注问题列表的记录为
            1. 关注问题列表
              1. 问题下回答列表

代码规范

  1. 变量命名规范
    1. 类型统一使用 namespace 方式声明, 导入时使用Type + xxx形式进行导入
    2. Model 导入时统一使用M + xxx形式进行导入
    3. View 导入时统一使用View + xxx形式进行导入
    4. Util 工具函数导入时统一使用xxx + Util形式进行导入
    5. async 函数前统一添加async前缀, 以和正常函数进行区分
  2. 文件命名规范
    1. 统一使用下划线方式命名

开发说明

  1. 建议只开发命令版
    1. 使用npm run ace启动
  2. GUI 版需要为 Electron 编译 sqlite3, 非常麻烦, 不建议尝试
    1. 编译指南: https://www.cnblogs.com/DonaHero/p/9809325.html
    2. 流程
      1. Windows 用户
        1. 安装 Python3, 第一步时勾选添加Python到Path, 如果未勾选, 可以重装一遍
        2. 安装VS 2022 社区版
        3. 文件-新建项目-Visual C++ -> 选择 安装 vs2022 所需的 C++开发环境
        4. 执行 npm run rebuild-electron-with-sqlite3, 编译完成 sqlite3 之后, 就可以启动 GUI 界面了
      2. Mac 用户
        1. 我没有 mac 谢谢
    3. 注意:
      1. 打包时会向 dist 目录中复制一份 node_modules 目录, 导致 npm run 时优先从 dist 中获取 node_module 信息, 导致无法启动
        1. 因此, 打包结束后需要将 dist 里的 node_modules 目录删掉, 以免影响后续开发工作
  3. 电子书封面分辨率为: 100 * 130(宽*高)
  4. commit 信息规范 =>
    关键字 功能
    feat 添加新功能
    format 调整代码格式
    fix 修复错误
    doc 修订文档/注释

开发指南

基本思路

  1. TypeScript 提供类型支持, 在编写代码时可以自动提示变量下的属性
  2. Electron 提供图形界面, 利用 webview 标签直接登陆知乎
  3. 利用知乎接口抓取数据
  4. ace/command 提供命令行支持
  5. sqlite3 提供数据库支持

实现方式

  1. 将电子书制作分为以下三步
    1. 初始化环境 => 对应于npm run ace Init:Env命令
    2. 抓取指定内容 => 对应于npm run ace Fetch:XXX系列命令, 目前支持Column/Author/Activity/Collection/Topic
    3. 从数据库中获得数据, 生成指定内容电子书 => 对应于npm run ace Generate:XXX系列命令, 目前支持Column/Author/Activity/Collection/Topic
    4. 因此, 实际任务流程就是根据用户输入 url, 生成对应命令配置, 不断执行命令即可
  2. 项目开发流程
    1. npm run watch 启动监控, 将ts自动编译为js文件
    2. npm run startgui, 启动前端界面(vue 项目, 基于 Element-UI 简单构建)
    3. 修改src/index.ts, 将代码由
      // 线上地址
mainWindow.loadFile('./gui/dist/index.html')
// 本地调试 & 打开控制台
// mainWindow.loadURL('http://127.0.0.1:8080')
// mainWindow.webContents.openDevTools()
      替换为
      // 线上地址
// mainWindow.loadFile('./gui/dist/index.html')
// 本地调试 & 打开控制台
mainWindow.loadURL('http://127.0.0.1:8080')
mainWindow.webContents.openDevTools()
      使用本地页面进行调试
    4. 执行npm run start, 启动 Electron
      1. 前端点击开始任务按钮后, 将任务配置写入task_config_list.json, 再由 Electron 收集登陆后产生的知乎 cookie, 存入config.json文件中, 随后启动Dispatch:Command命令, 开始执行任务
  3. 注意事项
    1. Electron 需要编译 sqlite3 后才能启动, 不容易搞, 建议直接使用npm run ace命令行方式进行调试
    2. 命令使用说明详见代码
    3. 建议最好配置淘宝镜像, 以便加快 install 速度
      npm config set registry https://registry.npmmirror.com
npm config set disturl https://npmmirror.com/mirrors/node/
npm config set electron_mirror https://npmmirror.com/mirrors/electron/
    4. 如果 sharp 无法安装, 可以尝试使用npm install进行安装

功能建议

欢迎通过issue提建议

项目介绍

基于node&typescript重写知乎助手

Others TypeScript850提交数
定制我的领域
README
32973179访问 GitHub