memory.lol:查询5.42亿Twitter历史用户名,助力识别恶意账号

memory.lol

Branch2Tags2

memory.lol

Rust 构建状态 覆盖率状态

概览

该项目是一个微型的网络服务,提供关于社交媒体账户的历史信息。

目前,它可以查找4430万Twitter账户中的5.42亿个历史屏幕名称。 这些数据大多是从 Twitter Stream Grab 或 Wayback Machine(均由 Internet Archive 发布)抓取的。

对于非保护账户,覆盖率应该相当好,可以追溯到2011年,那时 Twitter Stream Grab 启动。

请注意,此软件不是“开源”的, 但是源代码可供个人、非营利组织和工人所有企业使用和修改(具体细节请参见下方的许可部分)。

安全性

此服务提供的所有信息都是从公共档案中收集的,在大多数情况下,通过其他方式也能轻松找到(例如通过Twitter搜索对账户的回复)。 服务的目标是让研究人员或记者更容易识别进一步调查的方向, 更普遍地说,向用户表明某个账户可能在进行诈骗、传播虚假信息等。 如果您对安全性或隐私有顾虑,可以通过 Twitter DM 或 电子邮件 联系我,您的请求将被私下处理。

当前的访问限制

在大多数情况下,目前公众对工具的访问仅限于过去60天内观察到的事实。此规则有两个例外:

12年半和5亿个屏幕名称(减去请求排除的部分)可供一组受信任的研究人员、记者和活动家使用。

该服务目前支持通过GitHub或Google账户进行认证。

服务仅使用GitHub(或Google)进行认证,不要求对用户的账户进行任何非公开或写入访问,永远不会请求任何类型的密码,且仅存储用户公开信息。

该服务目前不会以任何允许服务器访问者将单个查询与特定授权用户关联的方式进行日志记录, 但若发现任何滥用情况,我保留在未来实施此类日志记录的权利。

要登录,请访问 https://api.memory.lol/v1/login/github, 这将带您到GitHub的“授权 memory.lol”页面,该页面会要求您授权“对您的公开数据有限访问”。 点击“授权”,您将被带到一个状态URL,显示您当前的访问级别(除非您的账户已被特别批准访问,否则为空)。 从那里,完整的索引将可用(如果您的账户已被批准)。

要登出,请转到 https://api.memory.lol/v1/logout。

通过GitHub的 设备流程 从命令行使用完整版本的服务是可能的,但目前不太方便(请参见下方的通过设备流程授权访问说明)。 我将提供一个使命令行使用更方便的客户端。

如果您有兴趣让您的账户获得非日期限制的访问权限,欢迎联系我,但请注意我可能不会回复您的请求。 一般来说,如果有人我认识并信任能为您担保,或者您能指出(公开的)您所做的我认为有趣的工作,我会给您权限。 如果您在调查加密货币诈骗、执法部门工作,或代表一家没有明确公开利益研究历史的公司,我不太可能回复(除非您是执法人员,在这种情况下我肯定会不回复)。

使用案例

在社交媒体平台上参与仇恨言论、诈骗、骚扰等行为的账户 有时会通过更改屏幕名称来隐藏身份,他们通常还有非常糟糕的操作安全(例如,在后来打算匿名使用的账户上使用真实姓名或其他识别信息)。

能够查看历史社交媒体档案通常可以识别这些人的线下身份(或至少追踪他们活动之间的联系)。

以下是一些我脑海中想到的例子(前三个是服务实际应用的例子,最后两个展示了它是如何用来证实他人工作的):

在许多情况下,服务提供的信息可能不足以识别一个人,但可能会提供关于下一步查找方向的提示(例如,查找被删除的推文以获取带有✨cancel-culture✨的旧屏幕名称通常是一个合理的第二步)。

详细示例

如果您在浏览器中访问 https://api.memory.lol/v1/tw/libsoftiktok,您将看到以下数据:

{
  "accounts": [
    {
      "id": 1326229737551912960,
      "screen-names": {
        "chayaraichik": null,
        "cuomomustgo": null,
        "houseplantpotus": null,
        "shaya69830552": [
          "2020-11-10"
        ],
        "shaya_ray": [
          "2020-11-27",
          "2020-12-17"
        ],
        "libsoftiktok": [
          "2021-08-18",
          "2022-06-16"
        ]
      }
    }
  ]
}

请注意,对于某些屏幕名称,我们目前没有关于它们何时被观察到的信息(例如上面有 null 值的条目)。 如果某个屏幕名称在我们的数据集中仅在一天被观察到,那么将只有一个日期。 如果有两个日期,它们表示该屏幕名称首次和最后一次被观察到的日期。

这些日期范围通常不会代表屏幕名称被使用的整个时期(它们仅表明该账户在我们的数据集中以该屏幕名称出现的时间)。

其他功能

该服务非常简洁。它所支持的少数功能之一是通过逗号分隔的列表查询多个屏幕名称(例如:https://api.memory.lol/v1/tw/jr_majewski,MayraFlores2022)。 它还支持搜索屏幕名称前缀(目前限制为100个结果;例如:https://api.memory.lol/v1/tw/tradwife*)。

目前它只支持 JSON 输出,但如果你需要一个电子表格,例如,你可以使用像 gojq 这样的工具将 JSON 转换为 CSV:

$ curl -s https://api.memory.lol/v1/tw/jr_majewski,MayraFlores2022 |
> gojq -r '.[].accounts | .[] | .id as $id | ."screen-names" | keys | [$id] + . | @csv'
89469296,"LaRepublicana86","MayraFlores2022","MayraNohemiF"
726873022603362304,"JRMajewski","jr_majewski"
1533878962455293953,"jr_majewski"

或者,如果您想要每行一个屏幕名称:

$ curl -s https://api.memory.lol/v1/tw/jr_majewski,MayraFlores2022 |
> gojq -r '.[].accounts | .[] | .id as $id | ."screen-names" | keys | .[] | [$id, .] | @csv'
89469296,"LaRepublicana86"
89469296,"MayraFlores2022"
89469296,"MayraNohemiF"
726873022603362304,"JRMajewski"
726873022603362304,"jr_majewski"
1533878962455293953,"jr_majewski"

请注意,屏幕名称查询不区分大小写,但结果显示时会区分大小写(这对于仅提供大小写敏感搜索的存档如 Archive Today 可能很有用)。

其他接口

您还可以通过账户 ID 查询账户的历史记录(例如,https://api.memory.lol/v1/tw/id/1326229737551912960 还显示了 Raichik 账户的屏幕名称)。

通过设备流进行授权访问

如果您想从命令行访问完整的索引,目前需要执行几个步骤。 默认情况下,您将接收到日期限制的结果:

$ curl -s https://api.memory.lol/v1/tw/USForcesKorea | jq
{
  "accounts": [
    {
      "id": 4749974413,
      "id_str": "4749974413",
      "screen_names": {
        "USForcesKorea": [
          "2018-06-08",
          "2022-07-29"
        ]
      }
    }
  ]
}

要访问完整索引(假设您已拥有一个审核通过的账户),您首先需要使用以下命令获取设备代码和用户代码:

$ curl -X POST -d 'client_id=b8ab5a8c1a2745d514b7' https://github.com/login/device/code
device_code=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx&expires_in=898&interval=5&user_code=ABCD-0123&verification_uri=https%3A%2F%2Fgithub.com%2Flogin%2Fdevice

在浏览器中访问 https://github.com/login/device,并根据提示输入您刚刚收到的用户代码。

最后,您需要获取您的承载令牌(将下面的 device_code 替换为您收到的代码,但仍然使用此处显示的 client_id):

$ curl -X POST -d 'device_code=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx&client_id=b8ab5a8c1a2745d514b7&grant_type=urn:ietf:params:oauth:grant-type:device_code' https://github.com/login/oauth/access_token
access_token=gho_XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX&scope=&token_type=bearer

然后,您可以使用这个令牌进行验证查询:

$ curl -s -X POST -d 'token=gho_XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX' https://api.memory.lol/v1/tw/USForcesKorea | jq
{
  "accounts": [
    {
      "id": 26847645,
      "id_str": "26847645",
      "screen_names": {
        "USFKPAO": [
          "2011-10-19",
          "2016-06-19"
        ],
        "usforceskorea": [
          "2017-02-20",
          "2018-03-27"
        ]
      }
    },
    {
      "id": 4749974413,
      "id_str": "4749974413",
      "screen_names": {
        "usforceskorea": [
          "2016-02-26",
          "2017-02-07"
        ],
        "usforceskorea_": [
          "2017-02-19",
          "2018-04-24"
        ],
        "USForcesKorea": [
          "2018-06-08",
          "2022-07-29"
        ]
      }
    }
  ]
}

最终,这个流程会被集成到命令行客户端中,但目前这种方法可以与现有工具如 curl 配合使用。

数据导入

应用程序当前支持两种文件格式的数据导入。第一种需要每个文件行包含一个 Twitter用户对象 每行一个(JSON格式,并附加一个snapshot字段,表示观测时间戳)。第二种是CSV格式,至少包含三列(Twitter用户ID、屏幕名称和观测时间戳)。

未来规划

关于网络服务的任何内容都可能随时更改,包括其可用性。

还有一些非公开的端点,我可能在某个时间点开放。这些端点提供了完整的用户历史资料信息,包括封禁或停用状态等。

服务条款遵从性

这个网络服务仅仅提供了一个接口,用于访问托管在公共档案中的内容的索引,并且该项目旨在遵守在生成此索引时访问的所有平台的服务条款。

这个代码库不包含任何社交媒体平台的数据。

许可

本软件在 反资本主义软件许可(版本1.4)下发布。

Introduction

memory.lol

Customize your domain