一点背景（失败经历）
2021年做了F1 fandom on AO3的统计，当时准备好了代码但跑的时候因为梯子没法全局，所以没办法用技术手段爬数据，最后是人工统计的。
2023年有了AI，有了可以全局的梯子，想试试能不能让AI给我写个爬虫，把今年发行的新专辑给我爬下来。下载了cursor，输入prompt，生成了依托不能用的答辩……
后来突然萌发了重启AO3统计的想法，老老实实去Github找了合适的项目抄一抄。4月4日开始抓取，有两天晚上没关电脑，一直到8日才把20000多条数据抓完，期间遭遇无数次梯子挂掉再重连。没想到2w条数据要那么多天，不禁对自家公司的技术肃然起敬了起来。
某种目的
最早Football板块是男女足混合的，我每次打开首页几乎都是女足，导致曾经不看女足的我都认识那几个美国女足球员了。后来男女足拆分也算是给了男足同人更多发展空间。今年再打开首页，意外发现怎么全是中文同人，有时候甚至一整页都是中文。
于是想要论证下面三个猜测
论证1：每次大赛后都会有国家队CP的增长
论证2：简中同人在疫情期间增多
论证3：2023年简中同人在增多
TL;DR
- Men's Football RPF有50%的文章都是在2020-2023年期间写的
- 2018年简中同人开始统治Men's Football RPF，2023年开始大爆发
- 活跃用户中简中人在增多，英语国家人正在减少
- 英文同人正在衰落
- 在中英文世界中卡配罗和小笼包CP几乎琐死
- 卡配罗/豆腐丝都是简中人在磕，梅罗都是洋妞在磕
- Men's Football RPF华语地区最佳新人内马尔
- 简中同人的CP比较单一
- 简中人真的很爱ABO
- 到底是谁在延迟磕卡配罗？
一些方法
数据抓取
ToastyStats的半官方项目已经不能用了，她是用python 2写的，然而现在已经python 3了，很多语法都变了，所以只能坐等作者更新了。
千挑万选找到了心仪的项目，作者是斯坦福和UC伯克利的学生，斯坦福的那位似乎还是中国人，她们甚至做了一个deck来介绍这个爬虫，感谢技术大佬！
代码的原理就是在AO3的搜索页面输入你想要的搜索组合后点击搜索。ao3_work_ids.py会一页页抓取每篇文章的id，随后再用ao3_get_fanfics.py根据先前文章的id抓取每篇文章的具体信息。
数据清理
原始数据可以在这里下载，供有心人把玩
- 剔除2009年前的数据。因为ToastyStats说09年之前的文章大多是从其他站点迁移过来的。
- 剔除空白数据。Relationship和character留空的作者有福了。我发现很多简中作品不写relationship和character可能只是为了找个地方放文章而已，并没有想要在AO3通过搜索被人找到，更多可能是在豆瓣、微博或者其他SNS引流到AO3过去。
- 没有剔除F/F和F/M。因为看了一下除了有女足有几篇漏网之鱼没搬过去，剩下的大多是性转主题的作品，四舍五入本质上也算是M/M，而且数量不多，不会影响整体趋势。
- 没有剔除2023。本来想想2023年才过了4个月，没必要和其他一整年的数据作比较，但看了几个结果让我不得不把今年的放进去。
- Kaka的名字有两种写法，不替换的话会严重影响统计。
Work (All Languages)
上图展示的是每年发布的文章数量，也是为什么我要把2023年放进来的最大原因。尽管才过了4个月，其实也就是3个月多一点，今年的作品数量几乎已经是去年的两倍了。
另外可以看到14年中曾经出现过非常明显两个高峰，分别是2014-2016年，2018年-2020年。峰值分别是2015年和2019年，都是世界杯结束后的第二年。今年又到了世界杯结束的第二年，按照这个趋势，2024年的数据是不是会回落呢？
上图展示的是每年文章数量在总数中的占比，今年已经占到了总数量的23%，2020-2023年发布的作品数量是总数量的51%，也就是说有一半的文章都是在2020-2023年期间写的。但我差不多也是在这段时间半退坑的，因为我的爱豆们一个接一个的退役了……
上图展示的是每年发布的中英文文章数量，另外添加了总计做对比。英文同人在经历2015年的高潮后，随后就再也没有达到过那个高点。反观中文同人在2017年以前都无人问津，2018年开始逐渐增长，2019-2020年经历第一个高点，2023年突然疯涨。
综合来看，文章总数经历的第一个高峰是英文同人做出的贡献，而第二个高峰则是中文同人的贡献，英文同人甚至还拖了后腿。2018年开始，历年的中文同人都大于英文同人，并且总数的曲线开始和中文同人曲线几乎一致。我大胆发言，中文同人已经统治了Men's Football RPF。
上图展示的是中英文以及其他语言同人每年的占比。小语种同人数量还算比较平均，中文同人从16年开始逐渐抢占市场，2020年中文同人占到了当年的一半，今年把英文同人挤压到只有19%，英文同人的衰落也挺严重的。
Relationship (EN vs. CN)
上图是目前Top 10 CP的中英文数量占比。个人觉得这张很有意思。梅罗CP还是洋妞比较爱磕。最离谱的是卡配罗87%的简中人在磕，与之相反的是格策罗伊斯（好古早的cp），91%都是洋妞在磕。
其实退一步来看，洋妞磕的都是古早cp，小笼包、拉莫斯托雷斯这种都是时代的眼泪了，而简中在磕一些比较新的东西。像内马尔和姆巴佩这些相对新一点的球员中英文差不多五五开的样子。我再次大胆发言，Men's Football RPF上英文作品的作者比较年长，中文作品的作者比较年轻。并且年长的那些人年轻时候磕得也很疯啊，不然怎么小笼包居然还会在Top 10。
上图选取了上述Top 10 CP中的Top 5，让我们看看那些CP已经半截入土了。格策罗伊斯生的伟大死的光荣，创造了爱得轰轰烈烈的波峰，也成了唯一一个正在消亡的CP。内梅的高点在2016年，那是他们刚做队友的时候吗？隔壁的事情还真的不怎么了解。卡配罗的数据不用看了，完全就是中文拉上去的。他们做队友的时候没人写，现在没交集反而那么多人磕？不懂。我知道豆腐丝很火，但我也不看德甲，无法get，而且莱万现在甚至都不在德甲了。笑死，Top 5里只有一个同队CP，其他都是过世CP。
Character (EN vs. CN)
上图展示的是Character Top 10的中英文占比对比。大部分比较平均，简中人更爱莱万，我的卡西没人爱……
有趣的是，如果把character和relationship做比较，你会发现有的人在relationship top 10却不在character top 10，或者相反。比如穆勒和卡西都不在CP榜中，说明他们的CP比较分散。同理，卡卡和小笼包都不在character里，说明他们和自己的CP琐死了，全在同一个CP里上分。
此处选取了character top 5的趋势变化，尽管所有球员从2022年开始都在增长，但这里不得不提到内马尔，CP排行中煤老板和总裁都占据两个CP，character多是正常的，但内马尔只有一个CP，它的这条曲线以前一直都平平无奇地垫底，结果去年开始暴增，把内梅送到了第二的位置。最佳新人奖就颁给马儿了。
而有的人下坡路越走越顺（至少和以前比起来），比如罗伊斯和水爷虽然近年还是在上升，它们的增速和煤老板以及内马尔差多了。
Tag (EN vs. CN)
没有做太多关于tag的统计，因为感觉简中人不像洋妞那么爱打标签。简中人真的很爱ABO，以及排名第六的tag可真6啊orz
Relationship (Chinese)
中文同人的top 10，没有我磕的，再见。
中文同人的top 5，皮水逐渐无人在意。到底是哪些人延迟到2022才开始磕卡配罗？？
Character (Chinese)
虽然马儿涨得很快，但梅罗的作品数量还是拉开其他人一个数量级的。后三位的穆勒、皮克、魔笛和前面差的也有点多的。和英文同人有点不同的是，中文同人几乎都是上了Top CP却没上Top Character，说明中文同人的CP比较单一，大家写起来都是固定搭配，缺了点海王球员。
这里也有点奇怪，写内马尔的人很多，但内梅的CP似乎还是打不过卡配罗，可能是因为内马尔的CP被姆巴佩分流了？皮水CP下跌，水爷却在上升，说明水爷现在最大的CP已经变成了魔笛。
Conclusion
- Men's Football RPF有50%的文章都是在2020-2023年期间写的
- 2018年简中同人开始统治Men's Football RPF，2023年开始大爆发
- 活跃用户中简中人在增多，英语国家人正在减少
- 英文同人正在衰落
- 在中英文世界中卡配罗和小笼包CP几乎琐死
- 卡配罗/豆腐丝都是简中人在磕，梅罗都是洋妞在磕
- Men's Football RPF华语地区最佳新人内马尔
- 简中同人的CP比较单一
- 简中人真的很爱ABO
- 到底是谁在延迟磕卡配罗？
