Benchmark

就是你，你会怎么想这个AI 创作的这个新颖感的问题呢？

哦，我其实一开始是用 AI 写作的，你刚刚拿的30篇文章是拿 AI 写的，AI 至少帮我写了一个80%的一个主体的架构，我只是后面润色一下。但可能从25年下半年开始，我就完全不用 AI 写，到现在我所有文章全是手写的。那一方面当然是我，我自己对写这种亚文化的东西，我越来越感兴趣，我觉得我自己写是比 AI 写更爽的，所以我愿意自己写。但另一方面呢，其实也是伴随着......嗯......模型就是做不好写作这件事。呃......现在的模型它可以做好编程，它已经完全替代人类程序员了，但它就是做不好写作这件事，它无法把你原创的思想很好地用你自己的语言表述出来，它是一个非常复杂的事情。呃......就比如说我最近在和朋友们做一个关于写作的 benchmark，呃......那它就涉及到你如何来评估一个 AI 写的文章是否好，那你——这就意味着你要从文章里面抽若干指标出来，来评估它的 AI 味道是是否重，来评估它的原创性是否好。就比如说有一个典型的指标是连接词。呃......AI 写的东西非常倾向于用“不是而是”或者用破折号这样的连接词或者连接的符号，对，这样。所以它会导致 AI 味道看起来非常重。但如果你要来全面评估 AI 写的东西的话，你就需要抽出来可能上百个这样的，这样的指标，那它就是一个非常复杂的工程性的任务。对，所以，嗯——而且另一方面呢，模型其实它在提升编程能力的同时，它的写作能力是在不断下降的，它其实像一个打地鼠一样的事情，呃......就是模型你给它喂了更多的关于编程的，关于 authentic 的数据集，那么你没有给它喂更多的写作数据集，那它写作能力就会被编程能力给吞噬掉。所以你其实从25年到现在，所有模型，主流的模型，它的编程能力在提升的同时，它的写作能力一定是在下降的。所以2026年，呃......9月份，现在的情况是模型它变得更加先进了，但它的原创性，让它去更好地表达人的思想，至少通过非工程的方式来表达人的思想，通过创意写作的方式表达人的思想，它是下降了的，它是下降非常多的，所以我现在完全不用 AI 来写作了。

啊......我自己是虽然一直生活在海外，但是这个因为读中文嘛，所以经常读微信公众号，然后这两年有一种感觉，就是公众号的内容越来越难读了。就是过去我觉得喜——一些很喜欢的账号啦，或者媒体啦，会让我读到一些[咂嘴]感觉很优美，或者就是让我想记住的一些语言，然后现在就感觉读中文就是完全为了我自己的工作或者信息收集，而不是为了语言的美好。啊......所以幽默感让我有一种——就是语言上的一种触动，真的很好玩，然后也当然是讲一个我很感兴趣的题材，所以就觉得特别有意思。啊......你们——我-我知道，我-我当时看到了你那篇文章，说的是你后来从 AI 写作转回成人工写作，然后说是娱乐这个东西是 AI 做不到的。啊......你是当时怎么想这个问题的呢？

就是幽默它需要你有一种信念[笑]。就比如说我经常看，我经常看这——像是美国的政治脱口秀，那-那个白——有-有一个非常有名的人叫......呃......我忘，我忘他的名字了，反正他是一个光头，光头老白男，但他可能已经死掉了，我-我忘掉了。但，但这种人呢，他之所以讲得好笑，是因为他真的相信一些东西。就比如说一个可能右翼的人，他是真的相——他没有那么相信进步主义，或者他没有那么相信过去这几年的......呃......多元叙事，所以他，他肆无忌惮地开这些玩笑。当然有一个左翼的人反过来也是一样的。对，所-所-所以幽默其实是你要有一点原创思想，并且你真的相信一点非共识的事情，这样才能幽默。放在我这里，其实我相信的非共识的事情就是......呃......AI 也没有那么重要，或者说你，你也没有必要相信 AI。当然我觉得你可能在美国对这一点体现更明显，因为美国大部分普通人可能是反对 AI 的，但在中国绝大部分普通人，他是一个技术乐观主义的态度，或者他也没有，也没有到技术乐观主义那个层程度，他只是对一个新技术保持有一种本能的开放的态度。对，对，所-所以，所以绝大部分我所接触的人，他是不会认为 AI 是一个坏的事情，AI 是一个对大伙的生活有损害的事情，AI 是一个可以与我无关的事情。大家会下意识觉得 AI 是一个最重要的，AI 是一个......呃......会帮助这个世界生产力发展若干倍的一个事情。当然这个观点没有任何问题，它是不同的观点，我只是会相信普通人的生活会更重，更重要，至少相对于这些......呃......模型厂的宏大叙事，和这些模型厂马上就要奔赴的万，万亿美金的 IPO 盛宴来说，你自己使用这些 AI 产品的感受依然是非常重要的。并且普通人的感受只要能够通过一种好的方式表达出来，工程化的方式表达出来，其实是这些模型厂更加稀缺的。呃......其中一个关键其实是 benchmark，我刚刚其实刚好 cue 过 benchmark 这个事情，就会发现benchmark 其实就干了媒体一模一样的事情，就是......呃......WSJ 那个母，母集团，我忘记叫什么名字了，呃——

叫——

它一，它一开始—— 对对。

就是标准词。对。

对，对。它一开始干的事情就是建立标准，建立标准，然后这些金融机构来接入它的标准，接入它的后面的资讯平台，然后它发展到今天这个地步。其实......呃......我们十五规划也是 benchmark，就是......呃......中国政府将我要实现一个什么样的发展目标，然后它把它拆解成若干量化指标，只要你能够达到这个量化指标，我们就可以说达到十五规划了。那相比之下，AGI 就是一个非常快的词，因为 AGI 没有任何量化指标，你没有像五——十五规划一样把它拆解成若干指标，比如说模型能力达到一个什么程度，或者它的普及率达到一个什么度——程度，我就实现 AGI 了，没有这样。所以，嗯......你把它放到任何一个 AI 具体方面都是这样的。比如说 AI 的写作能力现在很糟糕，但如果你能把写作能力拆成若干指标，然后来量化它，用各个模型去跑若干轮次，那其实你是能够得出来一个......呃......一方面是有轨迹数据，另一方面是有一个客观结论的。任，任何一个角度你可以用这种工程化的办法来拆解。事实上这也是模型厂它在过去一年，在编程领域，在 agentic 领域做的事情。所以，嗯......呃......我-我-我认为我接触的大部分人，他们是缺乏一个这样的具体的路径来对抗 AI，或者说重新建立自己生活的自信。就是我不是这些模型厂里边最头部的研究员，我不是 AI 行业最核心的这100个人，那我现在的生活有什么意义？或者我成天思考的东西重要吗？我认为是重要的。就是......呃......首先是你要相信自己的生活，自己真实的想法是重要的。其次呢......呃......是有一个路径，这个路径就是你去——当然不一定是你自己要花这么大精力去构建一个 benchmark，是用若干的指标把你所擅长的事情给量化定义出来。但确实是存在这个路径，让所有人在自己的专业领域里边，是比任何一个现在最红火的 AI 研究员都更有说服力的，对。

I told you all I have personal agent fatigue, but I am here for you.

So today I am going into the personal agent minds and I am running the very first How I AI Personal Agent Benchmark, which goes across four agents and nine tasks to tell you what personal agent is actually the best i am going to try to run this in the most unbiased equal way i will tell you how i set up the benchmark what is in the benchmark how i ran the benchmark and we're going to look at the results and at the very end get a summary of what agent i think does best on which task this was a really fun and also hard one to run i spent Definitely several hours today, figuring out how to run this and getting it done.

I hope that you all find this helpful and I am going to be along the ride with you because I really haven't looked at many of these results.

And so we're going to look at them live.

Daniel's question is basically this: suppose you want to evaluate a model on something narrow, structured output validity, an unusual programming language, one kind of reasoning.

How do you find out whether somebody already built the benchmark before you spend a month building your own? He wants the practical search discipline, where to look past Hugging Face, which registries are useful, how to tell whether a benchmark you found is any good, and when to give up and build your own.

He names two starting points, Benchmark Radar and the Hugging Face Liteval Tasks Explorer, and he wants a worked example around a custom LLM router.

Good, because the honest answer up front is that there's no canonical place to look.

That's the uncomfortable truth.

It indexes what exists, not what it does.

And that's the gap the whole episode lives in.

Two resources try to close it, and Daniel named both: Benchmark Radar, which is a living database and search engine published as a preprint in September, and the Liteval Tasks Explorer, which is a window into one evaluation harness' task table.

Data is open source.

Benchmarks open source.

They can be revisited.

This is great.

But we actually can have a surprising amount of confidence in the ways in which GPT-4 will improve on ChatGPT.

By examining publicly accessible benchmarks, comparable large language models like PaLM, and the latest research papers, which I've spent dozens of hours reading, we can discern at least eight clear ways in which GPT-4, integrated into Bing or otherwise, will beat ChatGPT.

I'm gonna show you how unreleased models already beat current ChatGPT, and all of this will give us a clearer insight into what even GPT-5 and future rival models from Google might well soon be able to achieve.

There are numerous benchmarks that PaLM, Google's large language model, and by extension, GPT-4, will beat ChatGPT on.

But the largest and most impressive is the Big-Bench set of tasks.

More than 150 or now 200 language modeling tasks, and I've studied almost all of them, and you can see the approximate current state of affairs summarized in this graph, where the latest models are now beating the average human and showing dramatic improvement on previous models.

Before we move on to improvement number 5, please do leave a like and a comment if you're learning anything from this video.

I really did put thousands of hours into reading academic papers to give you really clear examples of each improvement.

...

Benchmark says it's very accurate.

I mean, you know how I think about those, but another-

[laughs]

Anthropic launched Claude Haiku 5.5 on October 7th, the first model in the Haiku line to carry what the company calls effort controls, a one million token context window, and a two-tier pricing structure starting at 10 cents per million input tokens on the lower tier.

On Benchmark's Anthropic self-reported, Haiku 5.5 scored 72.4% on OS World, the computer use benchmark, and 39.2 on Terminal Bench.

The headline here is that this is the first haiku that the community is treating as a credible agentic model, not just a speed and cost play.

Mistral AI, meanwhile, released Mistral Large 4, already nicknamed LeChonk by developers, on October 6th.