吴小军讲座有感(学习《吴军讲gpt》有感)
下面是好好范文网小编收集整理的吴小军讲座有感(学习《吴军讲gpt》有感),仅供参考,欢迎大家阅读!
我必须说我本身是吴军老师的忠实学生,听完这门课依然是。我应该是吴军老师说的那种“不真正懂人工智能”的“业余爱好者”。我在2016年开始前前后后买了好多本吴军老师写的书,就是为了学习自然语言处理相关的技术,我也在一些垂直领域做过一些尝试,没有取得我想要的结果,所以我对当时自然语言技术能力边界还是有一点体感的。在当时的过程当中,吴老师的书给我很大的帮助
这么多年不停的有新的模型出来。我从GPT-2开始就听说了GPT的威名,我当时也一直没有当回事(后面我有说为啥我对“有威名”的语言模型并不敢直接感兴趣)。一直到ChatGPT发布,尤其是GPT-4发布的那天,我第一时间付了20美元升级到GPT-4。当我把我用来面试高级程序员程序员的题目用来挑战ChatGPT,并随着我跟进的挑战,看到ChatGPT一步步的把一个设计问题给真正搞定,写出来的代码质量也超过绝大多数我近期面试的候选人的时候。我就真的被征服了。后面不管是API还是Plugin,还是BARD,Llama Index,Langchain等,一路跟进到现在。国内的一些大模型我也很积极的去尝试。我也很看好后面的入局者能够带来变化,期待着这一场技术盛宴一道一道来自不同团队,不同菜系的硬菜
吴军老师这门课,我买了之后听了两遍。第一遍是在开车的时候两倍速听的,我觉得我没有听到我期待的内容,应该是错过了什么内容,所以我晚上又抽空重新专心听了一遍,完整的重新听了一遍。恕我直言我不喜欢这门课的内容。我写下来这个反馈,和同学交流一下。我毕竟是“业余爱好者”,如果理解不透彻的地方,各位老师同学尽管拍砖
好的点我就不说了,很多同学都表达了对这个课的喜爱之情。我觉得不喜欢的地方有如下几点:
1. 沉浸在“原理”里面,三句话不离原理,强调GPT模型“不是突破”。从他这么高的层次来说,GPT模型肯定没有突破五六十年代的数学模型。因为数学,物理原理都快100年没有巨大的突破了,或者说从吴老师更高的层次来说,世界上就没有东西是新的。说ChatGPT是五六十年代的模型格局也小了,应该说ChatGPT并没有突破138亿年以前的技术框架,一切都在宇宙大爆炸的一瞬间就定了。以后如果宇宙不重启的话,大家日子都不要过了,一起等着重启吧,麻利点
2. 沉浸在过去里面。特喜欢强调ChatGPT做的事情自己,或者自己的朋友,同事以前也做过。以前做过的就使用大量篇幅反复强调,顶多说一句ChatGPT比以前“做得好”,或者说“好很多”。我觉得吴老师这门课的名字不应该叫“吴军讲GPT”,应该叫“吴军讲GPT其中没有创新的那一部分”
这个课对ChatGPT带来的变化只字不提。比如涌现,比如通用性,比如思维链,比如预训练模型,比如新的标注方式,比如为啥GPT不需要那么大量的标注,这些是以前做不到的,吴老师应该很清楚这些是以前的语言模型没有的能力。我希望听到的是吴老师用他讲以前的模型的时候那种态度,也对GPT模型真正的特点娓娓道来,而不是戴着有色眼镜专门绕开GPT的特点,只是盯着GPT那些看似没变的东西,毕竟还有人真的相信你的课程内容,你也不要太武断,不告诉那些同学GPT模型的变化就直接断了他们进一步研究的念想
3. “藏着掖着”的论点,怕是有点失去做研究的初心了。吴老师通篇多出说“我们早就做出来了,我们不拿出来就是因为觉得没意思,我们觉得不值得,我们觉得法律有问题”,还说“没人和OpenAI这样的小公司打官司,因为OpenAI没钱可以讹,但是如果Google做出来就会有人打官司”。一来是OpenAI到底有没有钱?给普通人浅讹一下还是绰绰有余的。二来是现在BARD也在拼命的追赶,貌似Google现在不担心了?
4. 对靠人工智能“吃饭”和“爱好者”的定位,我觉得可以讨论下。吴老师说的“靠人工智能吃饭”的群体,是不是就是学校里面,研究院里面的那些天天研究模型的大牛。“业余爱好者”是不是就是那些没有上过斯坦福,没有发过论文,充其量只能读一下“科普读物”(比如数学之美)的人吧,我们这些“爱好者”注定“没有机会”。我眼里可能不太一样,我们这帮子工业界的人应该才是真正靠这个吃饭的把,的确不会和模型真正的提出大牛一样盆满钵满,那么我们可能算是靠着应用模型“喝汤”的把。
我所在的大厂也有研究院,我也认识很多高校里面虽然不如吴军老师牛的大牛老师,但是我觉得工业界和学术界看待优秀模型的眼神是不一样的。我尊重学术界的科研节奏,不过真正对模型的效果有现实体感,反复提出来具体需求的,反而应该就是这些站在工业领域,尝试把模型应用在具体行业里面的人把。
研究院或者高校的大牛老师发论文数字差一点点,论文依然可以发得出来,学生依然招的到。大不了打一个榜数字不好看,就去打另外一个榜,测另外一个数据集。工业界的项目没有办法选择目标数据集。一个客户失败了,哪怕客户不索赔,公司里面的项目可能就砍了,码农可能就失业了。能不能恳求吴军老是这样的大牛能体贴体贴我们业余工业界,把你们的高大上的模型工程化也做落地一点,数字踏实一点?不要总搞理论,发论文,也不要总是靠打榜打哪指哪来证明啥。我们这些“靠人工智能喝汤”的群体如果靠着一个个具体项目去验证模型到底有没有论文说的那么好的效果的话,如果项目失败,可能是背后是一个个失业的码农和他们的家庭。这里也解释了为啥我没有一直紧跟“行业”的前沿去验证每一个新模型。因为工业界的人验不起
嗯。对不起可能有点情绪化了。主要是我一直很喜欢吴军老师,这次课听的有点憋屈。我估计吴老师也看不到这个,正如吴老师自己所说,他也知道会有人不同意他的观点。我只是表达一下我的观点和各位同学互相学习下,仅供参考
最后说一句吧:我不知道为啥吴老师反复说ChatGPT没有本质的不同。我也不知道其他人具体什么感受。我自己有一个着急的项目临时需要处理客户这里一批不合规的数据,立项走流程申请工程师资源,我再给研发测试讲需求开发测试已经来不及了,我自己用ChatGPT平均每天生成1500行完全可用的高质量代码,一个周末就做完了这个小项目。最起码再这个周末,最起码再这个项目上,ChatGPT给我带来了一个”本质的不同“。这个项目顺利结束,给我们的客户,我们组的各位码农兄弟和他们家庭的安心,这对我们来说,是一个“本质的不同”