GPT-3

GPT-3 是一个训练集45TB、参数规模1750亿、预训练结果700G的AI模型，其一经问世就成为了万众瞩目的焦点。在其出现之后，使用GPT-3作诗、作曲甚至作画的应用纷至沓来。

AI 编程其实也并非是新鲜事了，之前的AI自动辅助编程工具Copilot也是一个。实际上，Codex更像是Copilot的一个全面升级。二者同样都是再GPT-3的基础上构建而成，不过Codex能够直接将英文需求描述直接转换为代码。

本质上，codex不能创造代码，仅仅是在不停地搬运代码而已。

代码智能

代码智能（code intelligence）的目的是让计算机具备理解和生成代码的能力，并利用编程语言知识和上下文进行推理，支持代码检索、补全、翻译、纠错、问答等场景。以深度学习为代表的人工智能算法，近年来在理解自然语言上取得了飞跃式的突破，代码智能也因此获得了越来越多的关注。该领域一旦有突破，将大幅度推动 AI 在软件开发场景的落地。

基准数据（Benchmark Dataset）对一个领域的发展至关重要。例如，ImageNet（斯坦福大学）极大地推动了计算机视觉领域的发展，类似包含多种任务的 GLUE（纽约大学）和 XGLUE（https://microsoft.github.io/XGLUE/，微软亚洲研究院自然语言计算组）数据集在自然语言处理领域也产生了非常深远的影响。近年来，统计机器学习算法，尤其是深度学习算法在很多代码智能任务（