GPT-4o 17人Omni金牌团队首揭秘!清北上交中科大6位华人领衔

几天前的发布会上,OpenAI再次向全世界证明,它永远走在AI领域的最前沿。 眼看着《Her》中的Samant…

几天前的发布会上,OpenAI再次向全世界证明,它永远走在AI领域的最前沿。

眼看着《Her》中的Samantha在自己眼前成真,那一刻,全世界为之振奋。

就在刚刚,GPT-4o的关键团队信息,也被公布了出来。

就是这个名为「omni」的团队,发挥出了不可思议的潜力,让OpenAI的首个原生全多模态模型成为可能。

Sam Altman盛赞,如果没有团队负责人Prafulla Dhariwal长期以来的远见、才智、信念和决心,就没有GPT-4o。而整个团队的努力,才使得他所期待的人机交互革命成为现实。

图片

OpenAI联创Greg Brockman,也表扬了这位肩负着整个团队使命的负责人。

多亏了Prafulla Dhariwal「建立全能大模型」的信念,并且在过去的18个月中联合了OpenAI的许多团队,在多个团队的通力合作下,GPT-4o才得以诞生。

图片

,时长02:15

GPT-4o可以识别不同的声音

根据负责人的说法,其实OpenAI早就有意打造这样一个Omni大模型了。

然而一年多之前,团队曾经做过多次多模态的尝试,却没有一次能让最大的GPT成功地完成多模态运行。

幸运的是,团队成员齐心协力,用出色的能力攻克了种种能力,使GPT-4o成为可能。

图片

网友锐评:「你们确实处于创新的前沿,执行水平达到了大型科技巨头梦寐以求的水平。」

图片

而如此惊艳的演示,竟然是一个不到20人的小团队打造出来的。

图片

Omni团队揭秘

接下来,一起看看打造OpenAI首个原生多模态GPT-4o背后团队成员,都有谁?

负责人Prafulla Dhariwal

领导GPT-4o开发的负责人Prafulla Dhariwal,是一位印度小哥。

图片

他于2017年获得了麻省理工学院的计算机科学学士学位。

毕业前夕,Dhariwal就加入了OpenAI(那时OpenAI仅成立一年),并在17年正式成为研究科学家。

至今,Dhariwal任职OpenAI 7年,可以说,他见证了这家初创公司的成长全过程。

图片

在此期间,Dhariwal参与了诸多重磅的研究。

根据LinkedIn个人主页,他将发表论文的领域分类为生成式模型、无监督学习、Scaling Law、定理证明、强化学习、量子复杂性。

其中包括DALL·E 3、DALL·E 2,模型一致性等,还共同提出了著名的「Scaling Law」。

图片

图片

值得一提的是,Dhariwal曾在高中期间参加了几次国际奥林匹克竞赛。

他是2012年IMO竞赛的金牌得主,也是IAO(国际天文学奥林匹克竞赛)、IPhO(国际物理奥林匹克)的金牌获得者。

图片

有网友称,Prafulla Dhariwal从高中起就是我的灵感来源。他当年为印度赢得了IAO、IPhO和IMO的金牌,并在OpenAI大学毕业后从事非常酷的VAE、Gans、DDPM、一致性模型等项目。

图片

6位华人

Li Jing

Li Jing在团队中发挥的作用是,让大家拥有令人惊叹的图像/3D生成。

此前,他为Dall-E 3、Sora、GPT-4o都做出过贡献。

图片

他曾在Meta做过2年的博后研究员,随后进入OpenAI成为全职研究员。

虽然才入职OpenAI不到两年,但他已参与过多个OpenAI的重磅研究了。

图片

他在北京大学获得物理学学士学位,在MIT获得物理学博士学位。

图片

图片

Casey Chu

Casey Chu是团队的老员工了。

图片

他从2020年4月就入职了OpenAI,如今已经是4年的「元老」了。

图片

他本科在哈维·穆德学院获得数学学士学位,在斯坦福大学获得计算数学硕士学位。

图片

图片

Mark Chen

Mark Chen是OpenAI的前沿研究主管,并且还是美国IOI队的教练。

在团队漫长的研究中,Mark Chen是大家奋斗的支柱。

图片

他已是OpenAI五年多的老员工。此前曾在微软、Trading实习,在哈佛做访问学者,在量化研究工作过5年,并且成为合伙人。

图片

他毕业于MIT数学-计算机专业。

图片

图片

Jiahui Yu(于佳慧)

Jiahui Yu负责带领OpenAI的感知团队。

图片

此前,他曾担任Google Brain和Google DeepMind的高级研究科学家和经理。

他的研究领域包括序列建模(语言、语音、视频、金融数据)、计算机视觉、生成模型和高性能计算。

图片

在研究生期间,他在微软亚研院、旷视科技、Adobe Research、Snap Research、Jump Trading、百度研究院、Nvidia Research和Google Brain都有过实习经历。

图片

他本科毕业于中国科技大学少年班,获得计算机学士学位。博士毕业于伊利诺伊大学香槟分校。

图片

图片

Huiwen Chang

Huiwen Chang在OpenAI已经工作一年。

图片

此前她曾在谷歌工作过5年,在微软亚研院、Adobe、Facebook有过实习经历。

图片

她在清华大学计算机科学实验班(姚班)取得学士学位,然后在普林斯顿大学取得博士学位。

图片

图片

Yu Zhang

图片

他在OpenAI工作了8个月。他此前曾在谷歌DeepMind工作过6年,还在微软亚研院、微软实习过。

图片

他本科在上海交通大学取得计算机学士学位,在MIT取得博士学位。

图片

图片

其他关键成员

James Betker

James Betker在这个团队中负责得非常全面,应有尽有,包括图像、音频、数据、集成、后训练(post-training)。

图片

这是从谷歌跳槽至OpenAI的大咖。

在加入OpenAI之前,Betker曾在谷歌担任了3年的软件工程师。

此外,他还在2011年加入了Garmin International,现任职高级软件工程师。

图片

上下滑动查看

他曾获得了UCSB的计算机科学学士学位,与此同时,在2005-2009年期间,还是在学校担任4年的软件工程师。

图片

Jamie Kiros

Jamie Kiros让GPT-4获得当前最佳的视觉感知能力,做出了非凡的成绩。

此前,他曾在谷歌工作过3年。

图片

他在多伦多大学取得计算机博士学位。

图片

图片

Rowan Zellers

Rowan Zellers在Omni团队中的贡献是,让OpenAI可以像人一样自然地看到视频。

图片

毕业后,他加入了艾伦人工智能研究所(AI2)成为研究实习生。

2022年6月,成为OpenAI的一名技术人员。

图片

Zellers曾获得了哈维·穆德学院(Harvey Mudd College)的数学和计算机科学的学士学位,以及华盛顿大学计算机科学博士学位。

图片

图片

Alexis Conneau

在加入OpenAI之前,Alexis Conneau就已经提出了「Her」(视觉模型)的理念,并且坚持不懈地执行并实现了它。

目前,Conneau是OpenAI的语音AGI负责人。

图片

进入他的个人主页,就知道Conneau对Her有多么痴迷了。

图片

Conneau在加入OpenAI之前,曾在Meta、谷歌担任过研究科学家,有着9年的自然语言深度学习的经验。

图片

图片

上下滑动查看

华盛顿邮报曾对Conneau进行了个人专题报道——

Alexis Conneau曾帮助Meta(Facebook)和谷歌打造了以惊人的精确性理解数十种语言的AI系统。

图片

在Meta期间,Conneau团队推进了机器学识算法,将语言用数字抽象形式表现的能力,最终训出能够处理同步语言的AI。

比如XLM-R模型可以处理100+语言,其准确性几乎与单一语言模型一致。

Conneau在Meta做的最后一项工作是Wave2vec-U。这是一种无人监督的语音识别系统,可以从音频中读取单词。

此外,他还发明了一种算法XLm-Roberta,能够阅读各种语言的海量数据。这项研究也成为他被引最高的成果。

图片

他曾获得了Facebook AI Research的计算机科学博士学位,在巴黎-萨克雷高等师范学校获得了机器学习硕士学位,以及巴黎综合理工学院获得了数学硕士学位。

图片

Gabriel Goh

Gabriel Goh和接下来要介绍的Ishaan Gulrajani,在团队中主要贡献是,提出了一系列相关的「Scaling Law」的工作。

这样当所有这些模态(视觉、语音等)汇集在一起时,模型便可以擅长处理一切事物!

图片

Gabriel Goh也是OpenAI 5年多的老员工,此前曾在苹果工作1年半。

图片

他在英属哥伦比亚大学取得硕士学位,在加州大学戴维斯分校取得了数学专业博士学位。

图片

CBC曾报道过Gabriel Goh到OpenAI后,在2021年设计的CLIP系统。

图片

他参与的这项研究,揭示了CLIP无法正确识别图像,会把放着iPod字样的苹果识别为iPod。

图片

图片

Ishaan Gulrajani

Ishaan Gulrajani目前是OpenAI的研究员。

图片

根据OpenReview的介绍,他曾在谷歌和Meta工作过。并在MIT获得学士学位,以及在斯坦福大学获得博士学位。

图片

图片

Alex Nichol

Alex Nichol在团队中主攻3D图像生成,也是DALL·E 2的共同发明者。

图片

此前,他一直是一位自由职业者。

随后,在2107年加入了OpenAI任技术研究员,中间还离职有近一年时间,并在2020年5月再次入职。

图片

比如,在GPT-4o官方报博客中的演示,它可以生成一致的试图,重建复杂3D模型。

这些所展示出的成果,离不开Nichol的贡献。

图片

图片

Heewoo Jun

与Nichol一样,Heewoo Jun在团队中也在负责图像、3D生成。

图片

根据OpenReview介绍,他曾在2015-2019年间在百度(美国研究院)担任研究员,2019年从百度离职后加入OpenAI担任研究员至今。

他曾获得了斯坦福大学的硕士学位,以及多伦多大学的学士学位。

图片

Christine McLeavey

这位Christine,是一位宝藏研究员。

图片

她在OpenAI已经工作6年。

此前,她曾在Unity从事2D、3D、VR、AR游戏的工作。

还曾做过4年的钢琴演奏艺术家,创办了交响乐、芭蕾、歌剧院管弦乐团的音乐家组织。

图片

上下滑动查看

她在普林斯顿取得了艺术、物理、和钢琴表演的学士学位。

在毕业后,她在世界顶尖音乐学院——茱莉亚学院进修了两年钢琴。

三年后,她在斯坦福取得了神经科学的硕士学位。

图片

al jabr

最后这位「al jabr」,并没有公布自己的真名,因此资料无从查找。

图片

参与GPT-4o的所有成员

图片

网友:下一个方向是什么

在留言区,网友们纷纷表示赞叹——

「团队使这种令人难以置信的突破性体验成真,o将彻底重构人机交互的方式。」

图片

「GPT-4o是创新和协作的证明,你们的奉献精神,构造了人工智能进步的灯塔。」

所以,Omni团队的下一步,又会给全世界带来怎样惊人的大作?

参考资料:

https://twitter.com/sama/status/1790816449180876804?t

关于作者: fjbin

为您推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注