ChatGPT

ChatGPT林惠⽂@真格基⾦daimajia.com体验 ChatGPT与 GPT-3 的对⽐与 GPT-3 的对⽐与 GPT-3 的对⽐强烈建议体验https://mirror.xyz/0x6E12A28086548B11dfcc20c75440E0B3c10721f5/9O9CSqyKDj4BKUIil7NC1Sa1LJM-3hsPqaeW_QjfFBc ChatGPT 提升的核⼼点• 敢于质疑不正确的前提 • 主动承认错误和⽆法回答的问题 • ⼤幅提升了对⽤户意图的理解 • ⼤幅提升了结果的准确性提升⼈类意图的⼀致性连续多轮对话能⼒提升的原因加⼊了基于⼈类的反馈系统丛问题库⾥抽取问题什么是⾹蕉?⾹蕉是⼀种⽔果,从⾹蕉树….标记者(Labeler)书写期待的回复被标记的数据⽤来调优 GPT-3.5什么是⾹蕉?⾹蕉是⼀种⽔果,从⾹蕉树…. ⾹蕉是芭蕉科、芭蕉属植物...⾹蕉为芭蕉科植物⽢蕉的果实。原产亚洲东南部…⾹蕉,从属性来说,与草莓、葡萄、猕猴桃是亲…标记者(Labeler)排序所有标记着答案⽤排序答案训练 奖励模型采样问题,并列出所有模型和标记者的回答写个⽔獭的故事输⼊奖励模型得到分数和优化参数通过模型⽣成初步回答持续优化参数迭代很久很久以前...Reinforcement Learning from Human Feedback往前捋捋GPT-1GPT-2GPT-3InstructGPTchatGPT20182019202020221500w 美⾦ 1750 亿参数15 亿参数1.17 亿参数再往前捋捋GPT-1GPT-2GPT-3InstructGPTchatGPTTransformerBERTRoBERTaXLMALBERTELECTRAT5BARTM2m-100BigBird2017DecoderEncoder《Attention is All You Need》继续再往前捋捋GPT-1GPTTransformerBERTRoBT5B2017 开始CNN 卷积神经⽹络RNN 循环神经⽹络1990开始 - 2006突破 - 2015繁荣继续再往前捋捋机器学习GPT-TransformerBERT52017 开始CNN 卷积神经⽹络RNN 循环神经⽹络1990 开始 - 2006 突破1980 开始基于规则1950 开始发展趋势机器学习Transformer优化⼈脑学习过程 关注重点⽽⾮全部神经⽹络基于规则⼿写规则,简单粗暴 只能处理⾮常少量数据找到⼀些函数或参数 分类固定量数据像⼈脑⼀样学习 开始尝试⼤量数据提前标记⼀些数据 根据⼤量数据分类学习⼀个复杂的参数集合分类⻩⾖和绿⾖发展趋势Transformer优化⼈脑学习过程 关注重点⽽⾮全部神经⽹络像⼈脑⼀样学习提前标记⼀些数据 根据⼤量数据分类学习⼀个复杂的参数集合GPT3投喂 海量的学习数据ChatGPT⼈对结果的反馈 成为学习过程的⼀部分1200 万美⾦⽆需分类数据算法数据量+既要聪明,⼜要努⼒算法数据量+ChatGPT: 每⾛⼀步都观察⼈类反馈 朝着⼈类期望的⽅向进发脑洞思考GPT3量的学习数据 ⻓的学习过程ChatGPT⼈对结果的反馈 成为学习过程的⼀部分00 万美⾦?更遥远的未来有没有算法能 突破⼈脑结构限制?基于⼈类反馈的训练⽅法 能否拓展到更多领域?⽐如情感?投资⻆度应⽤层⾯: 出现新的 AI+ 创业机会 1. 更好的客服机器⼈、机器翻译等 2. 更垂直的专业化 AI (⽤户反馈系统定向训练) 3. AI 基础设施 (模型运维,管理,训练等)需要考虑: 1. ⼤模型开始流⾏ (创业初始成本上升,团队融资能⼒) 2. 训练成本持续上升(团队商业能⼒)OpenAI 发展史OpenAI 发展历史•2015 年 12 ⽉:OpenAI 由⼀群包括 Elon Musk 和 Sam Altman 等个⼈和组织创建,旨在推进和促进⼈⼯智能领域的研究。 •2016 年:OpenAI 开发了第⼀个⼈⼯智能系统,击败了职业玩家在《Dota 2》游戏中。 •2017 年:OpenAI 发布了 GPT-1,这是⼀个能够⽣成⼈类⽂本的语⾔处理模型。 •2018 年:OpenAI 与 Microsoft 合作,推出了 Azure AI Platform,这是⼀个新的项⽬,旨在让开发⼈员更容易构建和部署 AI 应⽤程序。 •2019 年:OpenAI 发布了 GPT-2,这是⼀个⽐ GPT-1 功能更强⼤的语⾔处理模型。 •2020 年:OpenAI 发布了 DALL-E,这是⼀个能够根据⽂本描述⽣成原始图像的创意 AI 系统。 •2021 年:OpenAI 发布了 GPT-3,这是⽬前为⽌最⼤最强⼤的语⾔处理模型。OpenAI 主要⽅向•语⾔处理:OpenAI 开发了⼏款⾼度先进的语⾔处理模型,其中包括 GPT-3,这是⽬前为⽌最⼤最强⼤的语⾔处理模型。这些模型能够⽣成⼈类⽂本,并在⾃然语⾔理解⽅⾯取得了显著的进展。 •计算机视觉:OpenAI 也在计算机视觉领域开展了⼤量研究,并开发了⼀些先进的 AI 系统,能够像⼈类⼀样识别和理解图像。 •深度强化学习:OpenAI 还在深度强化学习领域开展了⼤量研究,并开发了⼀些⽤于游戏和其他应⽤的 AI 系统。OpenAI:“以上都是我总结的”• https://openai.com/blog/chatgpt/ • https://openai.com/blog/instruction-following • https://beta.openai.com/docs/model-index-for-researchers • https://mp.weixin.qq.com/s/haaL-2XjRG0oS24pQyqw1A • https://easyai.tech/ai-definition/nlp/ • https://www.exxactcorp.com/blog/Deep-Learning/deep-learning-in-natural-language-processing-history-and-achievements • https://dennybritz.com/posts/wildml/understanding-convolutional-neural-networks-for-nlp/ • https://github.com/sw-yx/ai-notes/blob/main/TEXT.md#jailbreaks • https://xiaosheng.run/2022/04/04/transformers-biography.html • https://zhuanlan.zhihu.com/p/43493999 • https://zhuanlan.zhihu.com/p/350017443 • https://easyai.tech/ai-definition/attention/ • https://medium.com/walmartglobaltech/the-journey-of-open-ai-gpt-models-32d95b7b7fb2

立即下载
金融
2023-02-15
真格基金分享
30页
5.54M
收藏
分享

[真格基金分享]:ChatGPT,点击即可下载。报告格式为PDF,大小5.54M,页数30页,欢迎下载。

本报告共30页,只提供前10页预览,清晰完整版报告请下载后查看,喜欢就下载吧!
立即下载
本报告共30页,只提供前10页预览,清晰完整版报告请下载后查看,喜欢就下载吧!
立即下载
水滴研报所有报告均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
相关图表
中 证 REITs 指数&中证 REITs 全收益指数走势 图表46:中 证 REITs 指数(932006.CSI)成分及权重
金融
2023-02-15
来源:2023年度公募基础设施REITs投资策略报告:市场纵深发展可期,多维度把脉分化行情
查看原文
2023 年优选公募 REITs 相关信息
金融
2023-02-15
来源:2023年度公募基础设施REITs投资策略报告:市场纵深发展可期,多维度把脉分化行情
查看原文
2023 年公募 REITs 解禁事项梳理
金融
2023-02-15
来源:2023年度公募基础设施REITs投资策略报告:市场纵深发展可期,多维度把脉分化行情
查看原文
五 单 REITs 扩募公告日前后成交量&换手率 图表42:五 单 REITs 扩募前后现金分派率变化情况
金融
2023-02-15
来源:2023年度公募基础设施REITs投资策略报告:市场纵深发展可期,多维度把脉分化行情
查看原文
环 保水务 REITs 历史 IRR 走势 图表40:清 洁能源 REITs 历史 IRR 走势
金融
2023-02-15
来源:2023年度公募基础设施REITs投资策略报告:市场纵深发展可期,多维度把脉分化行情
查看原文
特 许经营权类 REITs 现金分派率测算 图表38:高 速公路 REITs 历史 IRR 走势
金融
2023-02-15
来源:2023年度公募基础设施REITs投资策略报告:市场纵深发展可期,多维度把脉分化行情
查看原文
回顶部
报告群
公众号
小程序
在线客服
收起