加密不必害怕GPT-3。它应该拥抱它

chuttersnap-8i423frmwjm-unsplash意见

(Chuttersnap/取消闪烁)

Jesus Rodriguez是加密资产市场情报平台IntoTheBlock的首席执行官。他曾在大型科技公司和对冲基金担任领导职务。他是哥伦比亚大学的积极投资者、演讲者、作家和客座讲师;

在过去的几天里,关于OpenAI新的GPT-3语言生成器模型,加密社区中出现了大量的评论。一些评论表达了对GPT-3有用的好奇心,而另一些则有点极端,断言加密社区应该对此感到恐惧

这种兴趣有点令人惊讶,因为GPT模型并不完全是新的,它们已经成为机器学习社区的头条新闻。第一个GPT模型背后的研究于2018年6月发布,随后于2019年2月发布GPT-2,最近的GPT-3发布于两个月前;

又见:什么是GPT-3,我们应该害怕吗?

我认为GPT-3本身不太可能对加密生态系统产生重大影响。然而,GPT-3背后的技术代表了过去几年在深度学习方面的最大进步,因此,可以变得与加密资产的分析难以置信的相关。在本文中,我想花几分钟深入了解GPT-3背后的一些概念,并将其与加密世界联系起来;

GPT-3是一个大规模的自然语言理解(NLU)模型,它使用了惊人的1750亿个参数来掌握几个语言任务。它的前身是微软的GPNLG-2,是全球最大的GPNLG-2

GPT-3能够执行多种语言任务,如机器翻译、问答、语言分析,当然还有文本生成。GPT-3因其能够生成真假难辨的假文本而备受媒体关注;

这和加密有什么关系?试想一下,有能力定期发布虚假的新闻稿,从而改变较小加密资产的价格?听起来像是一个可怕的威胁,但这并不是GPT-3最重要的部分;

GPT-3是一个基于语言的模型,因此,使用文本数据集进行操作。从加密市场的角度来看,这种功能很酷,但肯定不是那么有趣。我们真正应该关注的是GPT3背后的技术;

GPT-3基于一种新的深度学习架构,即变形金刚。变形金刚的概念最初是在谷歌大脑团队成员于2017年发表的《注意力就是你需要的一切》一文中概述的

transformer架构的主要创新是“注意”的概念(因此本文的标题是这样的)。注意力通常用于一种被称为Seq2Seq的问题,其中模型处理一系列项目(单词、字母、数字)并输出不同的序列。这类问题在语言智能场景中非常常见,例如文本生成、机器翻译、问答等;

每次你看到一个Seq2Seq场景,你应该把它与所谓的编码器-解码器架构联系起来。编码器捕获输入序列的上下文并将其传递给解码器,解码器生成输出序列。注意力机制通过识别需要“关注”的输入的关键方面,解决了传统神经网络体系结构的局限性;

考虑一个从西班牙语到英语的机器翻译场景。通常,译码器将输入的西班牙语文本翻译成一种称为“想象语言”的中间表示,解码器将使用该表示将其翻译成英语。更传统的深度学习体系结构需要编码器和解码器之间的持续反馈,这使得它们的效率非常低;

从概念上讲,注意力机制关注输入序列,并在每一步决定序列的其他部分是重要的。例如,在机器翻译场景中,注意力机制会突出显示解码器“应该注意”的单词来执行翻译;

支持GPT-3等模型的转换器架构是一种传统的编解码器架构,它插入注意块以提高效率。该块的作用是查看整个输入和当前输出,并推断依赖关系,这将有助于优化最终输出的生产。

transformer体系结构已经生成了可以在大规模数据集中训练的模型,并且可以高效地并行化。不足为奇的是,在谷歌最初的论文发表之后,人们开始竞相打造掌握不同语言任务的超大模型。谷歌的BERT、Facebook的RoBERTa、微软的Turing NLG和OpenAI GPT-3都是这些模型的较新例子;

GPT-2使用了15亿个参数,震惊了世界。这个记录被微软的图灵NLG打破了,它使用了170亿个参数,而GPT-3却使用了荒谬的1750亿个参数。这一切都发生在一年之内。简单明了:说到变形金刚,越大越好

另请参阅:Ben Goertzel–人人皆有AI:奖励数据创造者的超级智能系统

第一代transformer架构的重点是语言任务。但是,像Facebook和OpenAI这样的公司最近发布了一项研究,将变压器模型应用于图像分类。你可能会认为这只是试图生成假图像。但影响远不止这些。

在没有大的标记数据集的情况下,伪图像的生成对于简化图像分类模型的训练是非常重要的。有人试图让变压器适应金融时间序列数据集,希望他们能推进量化交易策略

现在我们有了一些与变形金刚和GPT-3相关的背景知识,我们可以重温最初的问题。GPT-3对于加密资产来说真的很可怕吗? 

当然,能够产生假新闻、推动加密市场的模式前景并不是什么好开玩笑的。但我认为,以目前的形式,GPT-3并不代表对加密空间的威胁。更有趣的是transformer架构对下一代加密智能解决方案的影响。以下是一些需要考虑的实际情况:

交易策略。显然,如果变压器被证明适用于金融数据集,它们可能会对加密资产的定量策略产生重大影响。一般来说,深层神经网络正在为定量交易开辟新的领域。从基本的机器学习模型,如线性回归或决策树,定量基金现在正在寻找复杂的深度学习策略。

作为本机数字,加密是量化策略的完美资产类别。诸如递归神经网络(RNNs)和卷积神经网络(CNNs)等技术在量子空间中得到了广泛的应用,并且似乎在密码方面表现良好。就像语言分析一样,transformers可能比CNN和RNN更具优势,尤其是在集中“注意力”于数据集的多个部分时(例如,在2020年3月的比特币崩溃期间),同时还可以处理大量的记录(例如区块链交易)。

区块链分析。与当前的方法相比,transformer可以更有效地检测区块链中的模式。变形金刚的魔力部分在于它们能够“集中注意力”于输入数据集的特定部分并推断潜在输出。设想这样一个场景:我们正在分析比特币挖掘交易或流向交易所的流量,并尝试推断订单活动的模式。《变形金刚》似乎特别能胜任这项任务。

分散变压器。目前正在努力使transformer模型适应像SingularityNet这样的分散式人工智能架构。这种类型的用例可以将变压器的使用扩展到我们还没有想到的场景中。到目前为止,像GPT-3这样的变压器模型一直是大型企业人工智能实验室的特权,这些实验室拥有数据和资源来构建和操作如此庞大的神经网络。分散式人工智能提供了另一种选择,即变压器的培训、执行和监控可以在基于激励机制的分散网络中进行。

就像其他神经网络架构已经能够在分散的基础设施中运行一样,我们很快就会看到像GPT-3这样的模型在分散的人工智能平台上运行,比如SingularityNet或海洋协议

GPT-3和transformer架构代表了深度学习历史上的一个重大突破。在接下来的几年里,我们可能会看到变形金刚影响到深度学习的每一个主要领域,而且这种影响可能会扩展到金融市场。密码技术应该是这些突破的受益者。

是的,GPT-3令人印象深刻,但没有理由感到害怕。恰恰相反,我们应该努力适应这些主要的人工智能成果,使加密成为历史上最智能的资产类别。

转载声明:本文 由CoinON抓取收录,观点仅代表作者本人,不代表CoinON资讯立场,CoinON不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。若以此作为投资依据,请自行承担全部责任。

声明:图文来源于网络,如有侵权请联系删除

风险提示:投资有风险,入市需谨慎。本资讯不作为投资理财建议。

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 2020年7月23日 下午12:34
下一篇 2020年7月23日 下午12:34

相关推荐

加密不必害怕GPT-3。它应该拥抱它

星期四 2020-07-23 12:34:53

chuttersnap-8i423frmwjm-unsplash意见

(Chuttersnap/取消闪烁)

Jesus Rodriguez是加密资产市场情报平台IntoTheBlock的首席执行官。他曾在大型科技公司和对冲基金担任领导职务。他是哥伦比亚大学的积极投资者、演讲者、作家和客座讲师;

在过去的几天里,关于OpenAI新的GPT-3语言生成器模型,加密社区中出现了大量的评论。一些评论表达了对GPT-3有用的好奇心,而另一些则有点极端,断言加密社区应该对此感到恐惧

这种兴趣有点令人惊讶,因为GPT模型并不完全是新的,它们已经成为机器学习社区的头条新闻。第一个GPT模型背后的研究于2018年6月发布,随后于2019年2月发布GPT-2,最近的GPT-3发布于两个月前;

又见:什么是GPT-3,我们应该害怕吗?

我认为GPT-3本身不太可能对加密生态系统产生重大影响。然而,GPT-3背后的技术代表了过去几年在深度学习方面的最大进步,因此,可以变得与加密资产的分析难以置信的相关。在本文中,我想花几分钟深入了解GPT-3背后的一些概念,并将其与加密世界联系起来;

GPT-3是一个大规模的自然语言理解(NLU)模型,它使用了惊人的1750亿个参数来掌握几个语言任务。它的前身是微软的GPNLG-2,是全球最大的GPNLG-2

GPT-3能够执行多种语言任务,如机器翻译、问答、语言分析,当然还有文本生成。GPT-3因其能够生成真假难辨的假文本而备受媒体关注;

这和加密有什么关系?试想一下,有能力定期发布虚假的新闻稿,从而改变较小加密资产的价格?听起来像是一个可怕的威胁,但这并不是GPT-3最重要的部分;

GPT-3是一个基于语言的模型,因此,使用文本数据集进行操作。从加密市场的角度来看,这种功能很酷,但肯定不是那么有趣。我们真正应该关注的是GPT3背后的技术;

GPT-3基于一种新的深度学习架构,即变形金刚。变形金刚的概念最初是在谷歌大脑团队成员于2017年发表的《注意力就是你需要的一切》一文中概述的

transformer架构的主要创新是“注意”的概念(因此本文的标题是这样的)。注意力通常用于一种被称为Seq2Seq的问题,其中模型处理一系列项目(单词、字母、数字)并输出不同的序列。这类问题在语言智能场景中非常常见,例如文本生成、机器翻译、问答等;

每次你看到一个Seq2Seq场景,你应该把它与所谓的编码器-解码器架构联系起来。编码器捕获输入序列的上下文并将其传递给解码器,解码器生成输出序列。注意力机制通过识别需要“关注”的输入的关键方面,解决了传统神经网络体系结构的局限性;

考虑一个从西班牙语到英语的机器翻译场景。通常,译码器将输入的西班牙语文本翻译成一种称为“想象语言”的中间表示,解码器将使用该表示将其翻译成英语。更传统的深度学习体系结构需要编码器和解码器之间的持续反馈,这使得它们的效率非常低;

从概念上讲,注意力机制关注输入序列,并在每一步决定序列的其他部分是重要的。例如,在机器翻译场景中,注意力机制会突出显示解码器“应该注意”的单词来执行翻译;

支持GPT-3等模型的转换器架构是一种传统的编解码器架构,它插入注意块以提高效率。该块的作用是查看整个输入和当前输出,并推断依赖关系,这将有助于优化最终输出的生产。

transformer体系结构已经生成了可以在大规模数据集中训练的模型,并且可以高效地并行化。不足为奇的是,在谷歌最初的论文发表之后,人们开始竞相打造掌握不同语言任务的超大模型。谷歌的BERT、Facebook的RoBERTa、微软的Turing NLG和OpenAI GPT-3都是这些模型的较新例子;

GPT-2使用了15亿个参数,震惊了世界。这个记录被微软的图灵NLG打破了,它使用了170亿个参数,而GPT-3却使用了荒谬的1750亿个参数。这一切都发生在一年之内。简单明了:说到变形金刚,越大越好

另请参阅:Ben Goertzel–人人皆有AI:奖励数据创造者的超级智能系统

第一代transformer架构的重点是语言任务。但是,像Facebook和OpenAI这样的公司最近发布了一项研究,将变压器模型应用于图像分类。你可能会认为这只是试图生成假图像。但影响远不止这些。

在没有大的标记数据集的情况下,伪图像的生成对于简化图像分类模型的训练是非常重要的。有人试图让变压器适应金融时间序列数据集,希望他们能推进量化交易策略

现在我们有了一些与变形金刚和GPT-3相关的背景知识,我们可以重温最初的问题。GPT-3对于加密资产来说真的很可怕吗? 

当然,能够产生假新闻、推动加密市场的模式前景并不是什么好开玩笑的。但我认为,以目前的形式,GPT-3并不代表对加密空间的威胁。更有趣的是transformer架构对下一代加密智能解决方案的影响。以下是一些需要考虑的实际情况:

交易策略。显然,如果变压器被证明适用于金融数据集,它们可能会对加密资产的定量策略产生重大影响。一般来说,深层神经网络正在为定量交易开辟新的领域。从基本的机器学习模型,如线性回归或决策树,定量基金现在正在寻找复杂的深度学习策略。

作为本机数字,加密是量化策略的完美资产类别。诸如递归神经网络(RNNs)和卷积神经网络(CNNs)等技术在量子空间中得到了广泛的应用,并且似乎在密码方面表现良好。就像语言分析一样,transformers可能比CNN和RNN更具优势,尤其是在集中“注意力”于数据集的多个部分时(例如,在2020年3月的比特币崩溃期间),同时还可以处理大量的记录(例如区块链交易)。

区块链分析。与当前的方法相比,transformer可以更有效地检测区块链中的模式。变形金刚的魔力部分在于它们能够“集中注意力”于输入数据集的特定部分并推断潜在输出。设想这样一个场景:我们正在分析比特币挖掘交易或流向交易所的流量,并尝试推断订单活动的模式。《变形金刚》似乎特别能胜任这项任务。

分散变压器。目前正在努力使transformer模型适应像SingularityNet这样的分散式人工智能架构。这种类型的用例可以将变压器的使用扩展到我们还没有想到的场景中。到目前为止,像GPT-3这样的变压器模型一直是大型企业人工智能实验室的特权,这些实验室拥有数据和资源来构建和操作如此庞大的神经网络。分散式人工智能提供了另一种选择,即变压器的培训、执行和监控可以在基于激励机制的分散网络中进行。

就像其他神经网络架构已经能够在分散的基础设施中运行一样,我们很快就会看到像GPT-3这样的模型在分散的人工智能平台上运行,比如SingularityNet或海洋协议

GPT-3和transformer架构代表了深度学习历史上的一个重大突破。在接下来的几年里,我们可能会看到变形金刚影响到深度学习的每一个主要领域,而且这种影响可能会扩展到金融市场。密码技术应该是这些突破的受益者。

是的,GPT-3令人印象深刻,但没有理由感到害怕。恰恰相反,我们应该努力适应这些主要的人工智能成果,使加密成为历史上最智能的资产类别。