|
|
盖⼩模子是肯定来日⼤模子覆，模子⽣成器⼤模子是⼩。尺⼨模子只是光阴和优先级题目OpenAI顺⼿train⼩，l融资咱们也挺难下定夺以是像之前Mistra。要⽅向是端侧⼩模子下⼀个开源模子重，摊个人云端的算⼒本钱能够帮帮模子公司分。
mini发的是多模态模子- Google Ge，据从新操练⼏个模态数，很⼤难度，4V还不是GPT-。定卷多模态叙事2024年肯，ini打了一个新的开头Google Gem。
更早做出了Cloud他们比OpenAI，tGPT的产物是雷同Cha，揭橥但没。比OpenAI好一度他们的模子，hatGPT揭橥昨年这个工夫C，强的心智有了巨。以所，道OpenAI专家恐怕只知，thropic没有太相识An。lap和身手旅途亲切这两个团队的over。
⻓期形式的最要害的⼀年12、2024年是定夺，很难再改换形式酿成后。2的Google Gemini-2.0连接推出来岁Q1的Claude-3和GPT-4.5、Q，型能⼒抬升⼀个台阶仅上半年⼜会把模。
）险些都错过了大模子投资5、硅谷VC（危险投资，eX和Tesla的投资也同样都错过了Spac。重的参加这诟谇常，业形式没有商，很大危险。C这个产物不match大模子的参加恐怕跟V，金融产物来救援该当由另一个。
上会定夺⼤概的形式2024年跑完根本，来12个⽉窗⼝就正在未。个⽉追不上去假如来日12，翻转很难后⾯再。
正在思我也，I规模是不是不太work古代VC这个⾦融产物正在A，都错过了⼤模子投资你看绝⼤大都VC，aceX/Tesla同样也都错过了Sp，重投⼊都是，贸易形式看不清，险还很⾼式微⻛。找寻和发觉的投⼊这种就雷同科学，哈顿安插”有点像“曼，的⾦融产物适合此表，国的国央企微软像是美，ke sense他们来投⼊ma。
有X.AITesla，了6-12个月X.AI现正在晚，h up？很要害能不行catc。人才质料很高X.AI的，也很急速率，率大于50%（追上来）概。
-4⽐年头预期难7、复刻GPT。⼒搞了这⼀年也才委屈亲切Google举全公司之。-4视作进入决赛圈假如把复现GPT，nAI/Anthropic/Gemini本年跑下来⾸轮模子竞赛决出前三名：Ope，出了GPT-4能⼒的模子环球限度仅有这三家公司做。
ental商酌投⼊很⼩国内正在根蒂fundam，批产物⼈才作育了⼀⼤，有弊有利，来也有机缘拿⾛更⼤成功果实的恐怕只可正在应⽤产物侧冲破？未。
eta推出了LLAMA5）若何看Meta？M，界功劳大对开源世，就等于Meta开源有恐怕来日。所谓天资researcher但LLAMA团队我不感觉有，AI和Anthropic落伍人才quality比Open。定是大模子公司Meta纷歧，好自己营业的公司它是用大模子做，gle也是以至Goo。
⼒来⾃微软和OpenAI硅谷VC来日最⼤逐鹿压。aS⼯具很惬心他们之前投Sa，率会把古代SaaS样式都吃掉后⾯微软和OpenAI⼤概。
特殊紧急的端手机又是一个，两年能提拔4-5倍假如手机内存来日，载特殊多的端侧是能承，也会发作很大变动AI公司本钱构造，户更近端离用。续变强特殊多手机必定会继。
enAI的员工假如我是Op，an (OpenAI CEO)我必定也随着Sam Altam，m不正在了假如Sa，股票都要⻩了努⼒⼏年的。都是Sam主导微软这边互帮全，ot也是赌上职业⽣涯信托Sam微软CTO Kevin Sc。随着Sam？是长处题目为什么700多良将都。
的价钱挺⼤但开源模子，不是最智能的模子开源模子的责任，模子能⼒的溢出⽽是承接优秀，主化做⺠，是分层的由于需求，是通过⼀定能⼒模子笼盖的恐怕有相当⼤⽐例的需求，的是本钱题目这⾥优先研讨。
提到他，的千亿美金级豪赌试验人类这场以大模子为名，的摩尔期间？浅易说能否将寰宇带到新，似于半导体与芯片：来日模子发扬法则会不会极类，-2年提拔一代模子才华每1，、推理本钱每18个月是原本的1/10模子操练本钱每18个月是原本的1/4。
AI有纰谬Open，像寻求和推选⼀样具备很强的数据⻜轮效应我感应有两点：1）ChatGPT并没有；⼀家以⽤⼾为导向的公司2）OpenAI并不是，商酌为导向的公司⽽是以AGI和。
native产物ARR但整体市集其他⼤模子，到10亿美元一概加起来不，nAI⼀家不如Ope；
明白来日⾛向硅谷VC也不，隐约的都是，船票的也不多真正⼿上拿到。对笑观心情相。
会把互联网分泌率大幅拉升Answer的局面恐怕，题目没被管理以前巨额长尾，被管理了现正在能够。刺激新的消费需求总体说这是新身手。
公司壁垒4）模子，SpaceX很像台积电和，和先发上风有领域效应。寻求和推选⼀样的数据反应的⻜轮但⽬前看不到很强的⽹络效应和像，效应维护⻓期壁垒⾄于来日靠什么，欠好决断现正在还。GPT很像消费品（此日Chat）
形式不分明模子的贸易。⽴IPO也很难⼤模子公司独，率是更⾼的被收购的概。是要抱⼤腿的绝⼤大都都。
ogle挖了许多人Apple从Go，GPT-4很有压力我的感到是他们追到。不出来假如做，家或收购一家就只可投一。c？由于OpenAI被微软独家锁定（能够选拔谁？）Anthropi，他人互帮不行跟其，的bug这是最大。
正在早期阶段⼤模子还，别焦灼⼤家。就像芯⽚⼤模子，得再卷2-3代能⼒和本钱还，应⽤才会⼤发生上⾯的消费电⼦。得GPT-4分表傻来岁这工夫你会觉，太多事宜做不了，来⻩⾦10年的开头但本年曾经代表未。
全身心泡正在大模子广密本年一全年，肉身正在硅谷一泰半光阴，合投资到场相。息量特殊蚁集这集播客信。
不上闭源模子开源模子追，越拉越⼤差异会，paceX航空航天这个很像芯⽚和S，义的软件开源他不是古代意，可编码模子不，注解弗成，⼀起做功劳⼤家没主张。集群操练功用才更⾼包含GPU要正在⼀个。
000亿美元估值融资OpenAI正正在以1，00亿-250亿美元估值融资Anthropic正正在以2。以为我，前两名便是它们环球大模子的，le排第三Goog。
有100亿美元模子操练的贮藏5）有⼀个壁垒很实际——没，⼀梯队不断逐鹿的是没主张正在环球第，硬圭臬这是，便是资源这个壁垒。⼼智上此表，hatGPTChat=C，I=AGIOpenA，⼾⾸选GPT开荒者和⽤，⼝效应强⼊。
(OpenAI首席科学家)后面会若何样我很好奇Ilya Sutskever，么正在办公室展现了他现正在恰似不怎。Ilya留下来咱们必定希冀。
吸引⼈才和资⾦2）更早抵达能。t on前三家⼤家只会be，/6名意旨不⼤后⾯的4/5，⼝合上了融资窗。
Capability1）⼀条主线是智能的。/GPU不断scale许多年智能⽔平/参数目/Data，⽔平提拔1-2代每1-2年模子，解锁新应⽤场景连接逾越临界点。能做的事宜有限此日GPT-4，很早期还正在，⼿机Siri的⽔平假如GPT抵达接⼊，有很⼤变动⼊⼝效应会。
易被⼤家忽略尚有⼀点容，本钱优化能⼒极强OpenAI的。PT-4后操练告终G，了GPT-3.5他们⼜从头操练，-2000张卡只⽤了1000，本钱研讨紧要是，低重许多能把本钱。了GPT-4turbo你看开荒者⼤会⼜推出，重头操练也是是，蒸馏不是，-4要好⼀些能⼒⽐GPT，低重了4-5倍操练本钱⾄少，了架构由于改，相⽐GPT-4只是也降了10xinference cost。
代模子下⼀，模态模子便是多，pre-train进去各类模态的数据要从新。据款式是⽐⽂本token繁杂许多你看视频数据pre-train数，级的GPU资源必要⾼出⼀个量，操练本钱上要⾼4-5倍我感觉相⽐GPT-4正在，要2-3亿美元⼤概操练工夫。具备极强优化能⼒这个仍是研讨到。操练⼀代模子到2025年，0亿美元不⽌该当10-3。
张A100操练了100天GPT-4⼤概是2.5万，年半之前这个是⼀，本6000多万美元这个纯⼤操练的成。还不是这⼀次操练但模子最⼤的本钱，期做试验⽽是前。百上千个试验恐怕得做⼏，架构都要找寻各类数据各类，量和试错率⾜够的试验。5万张A100如果你有2.，做⾜了试验你花9个⽉，⼀次⼤的操练计算3个⽉做，式微了还得重来万⼀⼤的操练。式微率是很⾼的⼤模子操练的。
视频⽣成的成就猛然大幅提拔- Runway/Pika，开头这是，预期能够，本年⽂⽣图⼀样缓慢提拔来岁视频⽣成成就能像；
penAI除表是⼀个同盟但因“阵营”抗衡微软O，e的云都和微软逐鹿AWS/Googl，要有或搀扶他们必定，ple⼜是端侧很强Tesla/Ap，2-3家（从硅谷辐射南美、东南亚、欧洲市集以是⼜不会赢家通吃——最终环球来说⼤概会，不到中国）恐怕辐射。
的猜思：模子竞赛很残酷13、对环球大模子结局，⽚或SpaceX结果形式很像芯，恐怕只会剩⼀家理思化的形式，能⼒⼜强⼜低廉最当先的模子，家很难存活让后⾯的玩，通吃赢家。
球重注AI18、全，么？据估算搏的是什，模子规模下注多少环球本年合计向⼤？
本钱分两个人模子的操练，试验本钱⼀个人是，领域操练的本钱⼀个人是最终⼤。9个⽉做试验⼀年当中⾄少，⼨模子的操练试验是⼩尺，⽉做⼀次⼤的操练做⾜试验后留3个，的⽕箭发射就像⼀次⼤，本⾄少正在试验以是3/4成，终⼤的操练1/4正在最。
是H100了现正在操练都，A100的1.5-2倍之间H100⼤概实践跑下来是。
天还处正在试验科学阶段赌的是什么？⼤模子今，的领悟也很有限就像⼈类对⼤脑，”⽽⾮“发现创设”更像是“找寻发觉，有⼀条：Scaling Law提拔模子智能⽔平的旅途⽬前只，参数+Data+数倍GPU等等⽐如每⼀代模子⾄少扩⼤⼀倍的，旅途不明白是否有其他。ng Law本⾝⾄于Scali，有表面⽀撑此日也没，试错的阅历总结便是⼤量试验和，什么工夫Scaling Law就不行效了也很难切确决断下⼀代模子能⼒展示何如、。
提拔智能capability8、⼀线模子公司此日的核⼼是，和应⽤的工夫还不是做产物。星目标：Reasoning推理能⼒capability只要⼀个北极。：本钱、牢靠性、多模态之后最紧急的因素递次是，是⼩事其他口述环球大模子这一年，。
曾经是巨头订价和主导了3、硅⾕⼤模子的融资。如，thropic投了60亿美元AWS、Google⼜给An，也要融⼏⼗亿美元⻢斯克的X.AI。有限钱，有限卡，梯队会很贫窭第⼆、第三。
模态叙事来岁是多。能⼒的模子曾经不算第⼀梯队来岁6⽉再推出GPT-4，下⼀代多模态模子要么就此日直接做。
Apple和Tesla4）尚有一个要害的是。—第一波是芯片（英伟达）大模子最合连的三个生意—；微软和亚马逊的云）第二波是公有云（，最大的生意这两个是，都要跑正在云上恐怕来日模子，投模子公司统统make sense云厂商拿来日每年营收3-5个点去；是终端第三波，手机的端一个是，车的端一个是。
思的是成心，和乔布斯、马斯克不是一类人Sam Altaman恰似。正在硅谷没有恩人乔布斯、马斯克。全数人都是恩人Sam正在硅谷。国会问询的工夫你看Sam去，员都是恩人国会的议。
后来到GPT-43）当你12个⽉，多模态的GPT-4.5OpenAI曾经资历了，2024年会展现GPT-5）以及更强⼤的GPT-5（估计，4顶多是练习⽣会发觉GPT-，最强的同事⽔平GPT-5是你，4——模子操练很残酷恐怕没⼈再⽤GPT-，续淹没价钱持，练好下⼀代模子OpenAI训，本钱降下来假如能把，概率也⽤不多了前⾯的模子⼤。
评估圭臬看假如从VC，⽬仍是许多硅⾕好项，值很⾼但估，verhype了要供认短期是o，也没新的出⼿咱们过去半年。
e case分表告成的不多企业级营业找寻⼤模子的us，和Adobe较激进微软copilot。
到10多亿美元ARROpenAI⼀年内做，60亿美元ARR来岁恐怕50-，增⻓最疾的公司大概是史籍上；
一点另，0B是个分界点模子参数目正在7，容忍许多差池70B以内能，倍碰到的难度指数级提拔正在70B及以上每扩⼤⼀。越⼤模子，易堕落越容，模子式微率就越⾼操练越⼤参数目。
亿美元AI bet⼤模子便是⼈类的千，le global GDP?也有⼈说能让美国GDPx3？对环球地缘政事形式也有影响这个千亿豪赌的投⼊会给⼈类带来什么？⽐如你是否信托这波AI能帮推来日15年doub。
m很像政客我感到Sa。I杀青了假如AG，orldcoin的币他尚有他谁人发的W，个新样式的总统吗你说Sam会是一？
asoning推理能⼒北极星只要⼀个：Re。是⼀个推理引擎GPT⻓期就。
推出）和Mistral（一家欧洲公司）开源最佳模子就出⾃Llama（Meta。
追到GPT-4有不少挑衅开源模子正在2024年内。源和⼈才扩散的⼒量当然不行低估身手开，个⾏业⼤发展有恐怕来岁整。
）提前抱⼤腿啊（国内公司该当，阿⾥⽐如，云和钉钉有阿⾥，场景好营业，微软很像。
是如此假如，司能到场“登⽉竞赛”环球只要极少数⼏家公。环球第⼀梯队假如要坚持正在，亿美元的模子操练本钱⾄少必要计算100，5年花出去来日3-。
-4是要害分⽔岭3⽉揭橥GPT，SOTA最佳模子GPT-4代表，T-4是要害节点谁能再复刻GP：
忽略的是Cost2）另⼀条被⼤家，最核⼼逐鹿⼒本钱是隐形。个⽉曾经除以4-5倍模子操练本钱过去18，8个⽉除以10倍推理本钱过去1，迭代好⼏轮没题目本钱优化再往下，推理本钱还能除以100意味着同样能⼒的模子。以所，型还最低廉最机智的模。
为什么被开掉⾄于Sam，有正式注解⾄今还没，⼀点说阴谋论，常过激的事宜必定做了⾮，能对表说但⼜不。能跟微软相合况且这件事可。
le救援了Anthropic2）其次是亚马逊和Goog。ic？为什么不是一个巨头救援一个？冤家的敌手便是恩人（为什么亚马逊和Google要一块救援Anthrop。）
叙录》推出跨年特辑幼珺Jùn｜贸易访。年——当顶级贸易主脑、顶尖科学家这些最机智的脑袋我邀请拾象创始人和CEO李广密口述环球大模子这一，的血本狂卷一年手握数以切切计，大模子卷出了什么2023年环球？
我瞎猜就有30亿美元OpenAI本年买卡，和股票激劝还不算⼈才，⾄少x5倍环球限度，50亿美元那便是1？
arch lab文明很强OpenAI的rese。带来什么成就？他们有不知疲劳找寻试验的心灵这个数据有什么用？谁人架构有什么用？结果，的试验巨额，的试错巨额。enAI正在Op，—专家低估了前期做试验用的卡的数目researcher的卡是无穷的—，earch用卡量”假如看“人均res，常高的数字恐怕诟谇。
形式⻓期，种恐怕有两，公司向下笼盖⼀个是⼤模子，往下做了波⾳空客的市集你能够领悟SpaceX，私家⻋交通出⾏市集还做了Tesla。能便是分层的此表⼀直可。
、目前10，科常识题没有管理这个行业尚有许多。如比，w是不是能一连workScaling La，模子走下去最要害的题目能走多远？恐怕这是大。cale up假如不行一连s，这一代、下一代那恐怕就停正在。无法答复全数人都，做试验要一连。
于LLaMa底座改许多模子公司是基，的数据做了SFT⼜把⼀些公然测评，跑分⾼看着，义不⼤⻓期意。
|
