都大学了，小学系统才来？ 第200节

　　处理完邮件，陈林又看了一眼公司的财务报表。

　　黄依依每周都会整理一份详细的财务报表，发给陈林。

　　上面清清楚楚地列着公司的收入、支出、以及账上的余额。

　　陈林扫了一眼，发现公司账上现在还有大概四百多万软妹币的余额。

　　这笔钱，足够支撑公司未来好几个月的开支了。

　　更何况，陈林自己手里，还有【小小理财师】每个月带来的收入。

　　所以，资金方面，完全不用担心。

　　陈林合上财务报表，又看了一眼时间。

　　下午一点五十。

　　差不多了。

　　他从抽屉里拿出一沓A4纸，又拿出几支黑色的中性笔。

　　深吸了一口气，陈林闭上眼睛，开始在脑海中整理思路。

　　他的研究目标很明确——

　　设计一种全新的神经网络架构，这种架构要能够保留Transformer的并行计算能力和全局建模能力，同时大幅降低计算复杂度。

　　具体来说，就是要把Transformer的O(N?·d)复杂度，降低到O(N·d·log N)甚至更低。

　　要实现这个目标，就必须对self-attention机制进行根本性的改造。

　　传统的self-attention，是对序列中的每一个token，都计算它和其他所有token之间的注意力权重。

　　这就导致了N?的复杂度。

　　那么，有没有可能，不计算所有token之间的注意力，而是只计算一部分?

　　或者说，能不能用某种更高效的方式，来近似self-attention的效果?

　　陈林的脑海中，开始浮现出各种各样的想法。

　　线性attention、局部attention、稀疏attention......

　　这些都是业界已经提出过的方案。

　　但它们要么效果不够好，要么实现起来太复杂。

　　陈林需要找到一种更优雅、更高效的方法。

　　想到这里，他睁开眼睛，拿起笔，开始在纸上写写画画。

　　【小小数学家】的能力，悄然启动。

　　陈林的思维，仿佛进入了一种奇妙的状态。

　　他能感觉到，脑海中的想法，正在以一种前所未有的速度涌现出来。

　　各种数学工具，各种理论框架，仿佛都在自动组合、排列、优化......

　　陈林的笔，在纸上飞快地移动着。

　　一行行公式，从笔尖流淌出来。

　　首先，他从Fourier变换的角度，重新审视了self-attention机制。

　　Fourier变换可以将时域信号转换到频域，这样就能用频域的乘法，来代替时域的卷积。

　　那么，self-attention能不能也用类似的方法，进行加速呢?

　　陈林继续推导。

　　他发现，如果把self-attention的计算过程，用矩阵的形式表达出来，然后对矩阵进行特征分解......

　　诶，有戏!

　　陈林的眼睛越来越亮。

　　他发现，通过引入一种特殊的核函数，可以把self-attention的计算，转化为一种线性形式。

　　而这种线性形式，可以通过递推的方式进行计算，从而将复杂度降低到O(N·d)!

　　不过，这种方法也有代价——

　　它会损失一部分全局建模能力。

　　怎么办?

　　陈林继续思考。

　　他忽然想到，可以引入一种分层的注意力机制。

　　在局部范围内，使用传统的self-attention，保证精度。

　　在全局范围内，使用线性attention，降低复杂度。

　　然后，通过一种巧妙的信息融合机制，把两者结合起来......

　　陈林的笔越写越快。

　　公式越来越复杂。

　　他完全沉浸在了数学推导的世界里，完全忘记了时间的流逝。

　　不知不觉中，两个多小时过去了。

　　当陈林终于停下笔的时候，他面前的A4纸，已经写满了密密麻麻的公式。

　　整整十几页纸。

　　陈林靠在椅背上，长长地舒了一口气。

　　他能感觉到，脑子里有些昏昏沉沉的，精神有些疲惫。

　　不过，这种疲惫感，远没有达到“睡死“的程度。

　　陈林低头，看着面前那十几页纸上的公式，嘴角勾起一丝满意的笑容。

　　虽然还只是初步的框架，但他已经找到了方向。

第二百一十章 黑色星期四

　　11月27日，周四。

　　大洋彼岸，大漂亮国，纽约。

　　凌晨四点，夜色还未褪去，墙街已经灯火通明。

　　弗雷德·米尔斯坐在斯比亚投资银行总部的办公室里，面前摆着三台电脑显示器，屏幕上密密麻麻全是跳动的数字和K线图。

　　他的手里端着一杯已经凉透的咖啡，眼睛死死盯着屏幕，等待着那个即将到来的历史性时刻。

　　距离美股开盘，还有五分半钟。

　　办公室的门被推开，斯比亚的首席交易员大卫走了进来，脸上带着掩饰不住的兴奋。

　　“弗雷德，我们的仓位都准备好了。“

　　大卫在弗雷德身边坐下，压低声音说道：

　　“CloseAI没有上市，但是这几天大多数机构对它的估值都降低了50%以上。

　　我们在上周开始就已经陆续建立了Palantir、META、以及几家AI概念公司的做空仓位。“

　　“杠杆倍数控制在五倍，总资金量......“

　　大卫顿了顿，声音里带着几分颤抖：

　　“两亿美元。“

　　弗雷德听到这个数字，深吸了一口气。

　　两亿美元，五倍杠杆，相当于十亿美元的做空仓位！

　　这对于斯比亚这种规模的投行来说，已经是孤注一掷的豪赌了！

　　如果判断错误，等待他们的，将是灭顶之灾。

　　但如果判断正确......

　　弗雷德的嘴角，勾起一丝兴奋的笑意。

　　“大卫，还记得我跟你说过的吗？“

　　他转过头，看着自己的首席交易员。

　　“有些时候，赌对一次方向，就能改变一家公司的命运。“

　　“而今天......“

　　弗雷德看向屏幕上的倒计时，眼睛里闪烁着狂热的光芒。

　　“就是那个改变命运的时刻。“

　　倒计时，归零。

　　美股，开盘！

　　几乎是在开盘的瞬间，整个科技板块的股价，就像是失去了支撑的大厦，开始疯狂暴跌！

　　Palantir股价，开盘就跌了8%！

　　XAI的相关概念股，直接超过了10%！

　　而那些纯粹做AI技术服务的创业公司，更是惨不忍睹，有的甚至开盘就跌了15%！

　　“天啊......“

　　大卫看着屏幕上那些疯狂下坠的K线，整个人都呆住了。

　　虽然他们提前就预判到了这次下跌，但当真正看到这一幕的时候，心中的震撼，依旧无法用言语形容。

　　弗雷德却是冷静得出奇。

　　他盯着屏幕，手指在键盘上飞快地敲击着，不断调整着自己的做空仓位。

　　“大卫，注意看量化交易的动向。“

　　他的声音很平静，但语气里却透着一股紧张。