大型语言模型浪潮下，即使是像苹果这么保守的公司，发布会上也一定会提到AI。 比如，在今年的 WWDC 上，苹果就已宣布，全新版本的 iOS 和 macOS 将内置 Transformer 语言模型，以提供带文字预测功能的输入法。
不过，苹果官方对于这个模型提到的细节并不多，听起来就像是一个神秘的黑盒子一样。 虽然苹果官方没有透露更多信息，但技术爱好者们可坐不住了。
苹果 Transformer 模型的「秘密」，被一名叫做 Jack Cook 的人给挖出来了
- 模型架构上，Cook 认为苹果的语言模型更像是基于 GPT-2 打造的。
- 在分词器（tokenizer）方面，Emoji 十分突出。
基于 GPT-2 架构
先来回顾一下苹果基于 Transformer 的语言模型能在 iPhone、MacBook 等设备上实现怎样的功能。
主要体现在输入法方面。 语言模型加持下的苹果自带输入法，可以实现单字预测和纠正的功能。
Jack Cook 具体测试了一下，发现这个功能主要实现的是针对单个词汇的预测。
模型有时也会预测即将出现的多个单字，但这仅限于句子语义十分明显的情况，比较类似于 Gmail 里的自动完成功能。
那么这个模型具体被安装在了哪里？ 一番深入挖掘之后，Cook 说：
我在 /System/ Library / LinguisticData / RequiredAssets_en.bundle/ AssetData / en.lm/ unilm.bundle 中找到了预测文字模型。
原因是：
1、unilm.bundle 中的许多文件在 macOS Ventura（13.5）里并不存在，仅出现在了新版本 macOS Sonoma beta（14.0）里。
2、unilm.bundle 中存在一个 sp.dat 文件，这在 Ventura 和 Sonoma beta 里都能找到，但 Sonoma beta 的版本中更新了明显像是分词器的一组 token。
3、sp.dat 中 token 的数量跟 unilm.bundle 中的两个文件 ——unilm_joint_cpu.espresso.shape 和 unilm_joint_ane.espresso.shape 能配对的上。 这两个文件描述了 Espresso / CoreML 模型中各层的形状。
因此 Cook 根据 unilm_joint_cpu 中描述的网络结构，推测苹果的模型是基于 GPT-2 架构打造的：
根据每层大小，Cook还推测，模型约有3400万个参数，隐藏层大小是512。 也就是说，它比 GPT-2 最小的版本还要小。
Cook认为，这主要是因为苹果想要一种不会太耗电，但同时能够快速、频繁运作的模型。
苹果官方在 WWDC 上的说法是，「每点选一个键，iPhone 就会运作模型一次」。
不过，这也同时意味着，这个文字预测模型并不能很好地完整续写句子或段落。
模型架构之外，Cook 还挖出了分词器（tokenizer）的相关信息。
他在unilm.bundle/sp.dat里发现了一组数量为15000的 token，值得关注的是，其中包含 100 个 emoji。
Cook 大揭密
尽管这位Cook并非苹果CEO的那位，但他的文章一刊登，还是吸引了不少关注。
基于他的发现，网友们热烈地讨论起苹果在用户体验和创新技术应用之间的平衡大法。
而有关Jack Cook本人，他学士和硕士毕业于MIT的电脑专业，目前正在就读牛津大学的Internet社会科学硕士学位。
此外，他曾在 NVIDIA 实习，专注于 BERT 等语言模型的研究。 他还是《纽约时报》的自然语言处理高级研发工程师。
这么厉害的经历，也难怪他可以挖掘出苹果 Transformer 模型的秘密。
