随着人工智能向 Physical AI 和真实世界系统迈进，开放基准测试（Open Benchmarks）的重要性日益凸显。今年，AI City Challenge 迎来了它的第十个年头。

在此，我们很高兴地向全球研究者和从业者宣布：2026 AI City Challenge 的奖项已正式确认。

• 🥇 各赛道冠军：将获得 NVIDIA GeForce RTX 5080 显卡。
• 🥈 各赛道亚军：将获得 Jetson Orin Nano Super Developer Kit。

本届挑战赛共设有六个赛道，涵盖感知（Perception）、推理（Reasoning）、Sim2Real 迁移、视频理解（Video Understanding）以及生成式 AI（Generative AI）。我们期待看到来自全球的創新解决方案。

作为 Track 4 的负责人，我在此为大家详细解读本赛道的技术细节、挑战重点以及参赛指南。

🎯 Track 4: Text-Based Person Re-Identification (Sim2Real)

Track 4 聚焦于基于文本的行人重识别（Sim2Real）。本赛道建立在近期相关基准测试(ICCV2025 Highlight Beyond Walking: A Large-Scale Image-Text Benchmark for Text-based Person Anomaly Search)的基础之上，重点考察视觉与语言之间的跨模态推理（Cross-modal reasoning） 能力。

1. 任务定义

参赛者需要解决基于文本的行人检索问题。系统接收自然语言查询（Natural language queries），这些查询不仅描述目标的外观特征（Appearance），还描述其行为特征（Behaviors），甚至包括异常动作（Anomalous actions）。模型需要根据这些文本描述，在图像或视频库中准确检索出对应的行人。

2. 核心技术挑战：Sim2Real 迁移

本赛道最大的难点在于合成数据到真实世界的迁移（Sim2Real transfer）：

• 训练阶段：模型将在合成数据（Synthetic data） 上进行训练。
• 评估阶段：模型将在真实世界测试集（Real-world test sets） 上进行评估。

如何克服合成数据与真实物理世界之间的 Domain Gap（域偏移），是本赛道需要解决的核心科学问题。

3. 评估指标

本赛道的准确性将使用 平均精度均值（mAP, mean Average Precision） 进行衡量。

📅 关键时间节点 (Timeline)

目前，比赛已经进入关键阶段。请参赛团队务必关注以下时间节点（所有截止时间均为 Anywhere on Earth, AoE）：

• 2026年4月20日：发布训练集和验证集 (已完成)
• 2026年5月28日：发布评测服务器和测试集 (已完成)
• 🔴 2026年7月10日：赛道提交截止 (Challenge track submissions due)
• 📝 2026年7月24日：Workshop 论文提交截止 (Workshop papers due)
• 📩 2026年8月1日：录用通知 (Acceptance notification)
• 💻 2026年8月7日：获奖候选队伍开源代码提交截止 (Open source by awards candidates due)
• 📄 2026年8月15日：Camera-ready 论文提交截止
• 🏆 2026年9月8日：在 ECCV 2026 现场进行论文宣讲并举行颁奖典礼

特别提示：距离 7月10日 的赛道提交截止已非常临近，请尚未提交最终结果的队伍抓紧时间调试模型并在评测服务器上刷榜。

🔗 参赛指南与资源获取

为了方便大家获取最新信息，以下是官方资源链接：

• 官方网站：AI City Challenge 2026 官网
• Track 4 详细说明与数据集下载：Track 4 赛道主页
• 评测服务器 (Evaluation Server)：官方评测平台链接
• 论文提交系统：ECCV 2026 Workshop 提交入口

💡 结语

AI City Challenge 能够走到第十年，离不开所有组织者、合作者以及广大参与者的持续支持。这不仅是一场算法的竞技，更是推动 AI 技术从实验室走向真实物理世界的重要契机。

无论你是高校的研究团队，还是企业的算法工程师，我们都热烈欢迎你的参与。

如果在 Track 4 的备赛过程中，关于数据集、评测规则或 Sim2Real 的技术实现有任何疑问，欢迎在本文评论区留言交流，我会尽量为大家解答。

预祝各参赛团队在 ECCV 2026 取得优异成绩！

本文由 AI City Challenge 2026 Track 4 负责人撰写。欢迎转发分享给实验室的同学和同行的朋友。

本文首发于郑哲东个人主页： https://www.zdzheng.xyz/blog/eccv-2026-2026-ai-city-challenge-rtx-5080-track-4

转载请注明出处。

随着人工智能向 Physical AI 和真实世界系统迈进，开放基准测试（Open Benchmarks）的重要性日益凸显。今年，AI City Challenge 迎来了它的第十个年头。

在此，我们很高兴地向全球研究者和从业者宣布：2026 AI City Challenge 的奖项已正式确认。

• 🥇 各赛道冠军：将获得 NVIDIA GeForce RTX 5080 显卡。
• 🥈 各赛道亚军：将获得 Jetson Orin Nano Super Developer Kit。

本届挑战赛共设有六个赛道，涵盖感知（Perception）、推理（Reasoning）、Sim2Real 迁移、视频理解（Video Understanding）以及生成式 AI（Generative AI）。我们期待看到来自全球的創新解决方案。

作为 Track 4 的负责人，我在此为大家详细解读本赛道的技术细节、挑战重点以及参赛指南。

🎯 Track 4: Text-Based Person Re-Identification (Sim2Real)

Track 4 聚焦于基于文本的行人重识别（Sim2Real）。本赛道建立在近期相关基准测试(ICCV2025 Highlight Beyond Walking: A Large-Scale Image-Text Benchmark for Text-based Person Anomaly Search)的基础之上，重点考察视觉与语言之间的跨模态推理（Cross-modal reasoning） 能力。

1. 任务定义

参赛者需要解决基于文本的行人检索问题。系统接收自然语言查询（Natural language queries），这些查询不仅描述目标的外观特征（Appearance），还描述其行为特征（Behaviors），甚至包括异常动作（Anomalous actions）。模型需要根据这些文本描述，在图像或视频库中准确检索出对应的行人。

2. 核心技术挑战：Sim2Real 迁移

本赛道最大的难点在于合成数据到真实世界的迁移（Sim2Real transfer）：

• 训练阶段：模型将在合成数据（Synthetic data） 上进行训练。
• 评估阶段：模型将在真实世界测试集（Real-world test sets） 上进行评估。

如何克服合成数据与真实物理世界之间的 Domain Gap（域偏移），是本赛道需要解决的核心科学问题。

3. 评估指标

本赛道的准确性将使用 平均精度均值（mAP, mean Average Precision） 进行衡量。

📅 关键时间节点 (Timeline)

目前，比赛已经进入关键阶段。请参赛团队务必关注以下时间节点（所有截止时间均为 Anywhere on Earth, AoE）：

• 2026年4月20日：发布训练集和验证集 (已完成)
• 2026年5月28日：发布评测服务器和测试集 (已完成)
• 🔴 2026年7月10日：赛道提交截止 (Challenge track submissions due)
• 📝 2026年7月24日：Workshop 论文提交截止 (Workshop papers due)
• 📩 2026年8月1日：录用通知 (Acceptance notification)
• 💻 2026年8月7日：获奖候选队伍开源代码提交截止 (Open source by awards candidates due)
• 📄 2026年8月15日：Camera-ready 论文提交截止
• 🏆 2026年9月8日：在 ECCV 2026 现场进行论文宣讲并举行颁奖典礼

特别提示：距离 7月10日 的赛道提交截止已非常临近，请尚未提交最终结果的队伍抓紧时间调试模型并在评测服务器上刷榜。

🔗 参赛指南与资源获取

为了方便大家获取最新信息，以下是官方资源链接：

• 官方网站：AI City Challenge 2026 官网
• Track 4 详细说明与数据集下载：Track 4 赛道主页
• 评测服务器 (Evaluation Server)：官方评测平台链接
• 论文提交系统：ECCV 2026 Workshop 提交入口

💡 结语

AI City Challenge 能够走到第十年，离不开所有组织者、合作者以及广大参与者的持续支持。这不仅是一场算法的竞技，更是推动 AI 技术从实验室走向真实物理世界的重要契机。

无论你是高校的研究团队，还是企业的算法工程师，我们都热烈欢迎你的参与。

如果在 Track 4 的备赛过程中，关于数据集、评测规则或 Sim2Real 的技术实现有任何疑问，欢迎在本文评论区留言交流，我会尽量为大家解答。

预祝各参赛团队在 ECCV 2026 取得优异成绩！

本文由 AI City Challenge 2026 Track 4 负责人撰写。欢迎转发分享给实验室的同学和同行的朋友。

本文首发于郑哲东个人主页： https://www.zdzheng.xyz/blog/eccv-2026-2026-ai-city-challenge-rtx-5080-track-4

转载请注明出处。

链接：https://www.nature.com/articles/s42256-026-01253-5

现有研究人员 in a frenzy（疯狂）去把agentic AI 融入他们的工作流程中，导致了一个异常竞赛。 编辑建议：需要有一个更好的方式去利用AI。

前几年LLMs出现改变了AI科技。 现在，很多AI用户转向了agentic AI，一个或多个LLMs访问数据集和工具，来处理多部任务，同时通过reasoning，planning 和 collaborating来互相交互。 AI agentic 框架展现了半自动的编程，金融交易，医疗决策甚至是科学发现。

一个最新的新闻故事 说 公司特别爱员工去用agentic AI，去最大化使用LLM，也就是 tokemaxxing。 在一些公司里甚至 出了leaderboards 来排序雇员的token使用量。 尽管token使用量 不是一个好的metric来估计产出量，但一些人认为这是一个有效的方法来鼓励思维的改变。 老黄说他希望 nv的高级工程师 每个月用250k 刀的token。

那tokenmaxxing 有什么缺点呢？这种疯狂很难停止，没有人愿意落后。 今年Tokenn的使用量爆炸了，和Openclaw等等有关，甚至到了发烧的程度。 但，虽然很多科技公司否认，但是遇到了hard limits。没有足够的数据中心，token工厂缺乏足够的电、水和硬件。 环境是不是可持续发展，当地社区反对扩张等等问题。

同时，随着AI成本上涨，很多科技公司很难盈利。一些公司开始限制访问 AI工具 或者关闭平台。 3月，仅仅在宣布和迪斯尼一百万合作的几个月之后，OpenAI关闭了Sora。 Github也暂停了Copilot的新订阅，从6月起改成了基于使用量的billing。

除了金融和环境问题，agentic AI也有潜在的对人外包认知技能的问题（导致人的能力下架了）。 关于认知拒绝，主要由于现在人都用ai写文章，作业等等。 关于AI系统访问大量的知识库和工具，包括科学研究，可能进一步导致外包。 因此， agentic AI可能使 研究人员 研究更快/探索更新的领域，但是也导致个人知识发展的风险。

最终，人的创造力 对于 在科学领域使用agentic AI 还是至关重要的。 发展端到端科学AI的开发者通常会警告，人的监督还是需要的。 核心挑战改变成了： 怎么让AI生成-》 怎么验证AI生成的东西。 prompt 模型生成结果 很简单，但是怎么验证结果很难。 验证AI的输出 对于 可靠的科学进展 很重要，而且 继续需要 人的干预和努力。

本文首发于郑哲东个人主页： https://www.zdzheng.xyz/blog/nmi2026-stoptokenmaxxing

转载请注明出处。

发表于ICLR2025

论文链接：https://arxiv.org/abs/2411.02571

代码 https://huggingface.co/nvidia/MM-Embed

What

1. 本文研究通过大模型 来实现多模态检索。
2. 首先 在10个数据集16种任务上，finetune了一个 MLLM。 作者发现MLLM处理 challenging queris（比如query包含图文两种模态的）比较好 ，但是一般的cross-modality 任务 比不过 小的clip模型。
3. 作者说这是引文 modality bias。 （我理解是 大模型对文本生成和reasoning考虑太多。）
4. 为了解决这个问题，作者提出 一个 modality-aware的 hard negative mining
5. 其次，作者提出了 continuously fine-tuning the universal multimodal retriever （好像没什么差别。）在 M-BEIR 和 MTEB等检索benchmark上达到了 sota。
6. 最后，作者尝试了通过prompt 作为zero-shot reranker，可以进一步提升，特别是 图文组合query。

How

1. 如上图，作者有多种训练的 instruction，（1）图搜文 （2）图搜图 （3）图+文 搜图 （4）还是图搜文 （5,6）VQA （7）文搜图 通过finetune 基础的MLLM （LLaVa-Next） 得到 MM-Embed。需要注意这一步是没有文搜文。

2. 如上图下方，给出 top-3 candidates， 做一个 binary的预测， Prompt用的是 “Does the answer correctly answer the question, True or False”. 给出概率进行rerank。

3. 方法上，主要的loss（公式1） 类似infoNCE loss， 拉近 （query+instruction， 对应的candidate）。

4. negative sampling 貌似和传统的方法差不多，就是infoNCE 外接了一个batch的hard negatives。

5. 这边4.1.2的开头M^hard出现比较突然，没有定义。M^rand 定义了，是一开始infoNCE fine-tuned model 没有hard negative的。所以我猜M^hard是hard negative训练完的。

6. 关于 continuous，作者又回去 训练文到文（QA之类的）了，这边negative是通过NV-Embed-v1来mine。然后negative也有用M^hard 来选择的。

7. 最后 reranking 其实就是 回答 binary True or False。按照Ture和False token的logits 做了Softmax。

实验

1. 作者训练的数据集还是比较多的。但其实总量1.1M是不多的，所以模型也是finetune LLaVa-Next来的。
   • M-BEIR 混合了我们常见的 MSCOCO （图文互搜），FashionIQ（图+文搜图），Fashion200k（图+文搜图），Visual News，WebQA（文搜文），OVEN，CIRR（图+文搜图），NIGHTS，InfoSeek，EDIS。 其中 1.1M训练queries ， 190K测试queries， 5.6M gallery 。

1. 我们 2025年TMM论文 https://www.zdzheng.xyz/files/2025/TMM25-Scale.pdf 用的是BLIP2 作为backbone。 FashionIQ 平均R10是 54.99； CIRR的 recall@5 是 84.92%，recall@10是91.74% 。

2. 作者这边 FashionIQ是25.7 recall@10， CIRR是50.00% recall@5 。 那确实 不如blip2.

3. 然后 MSCOCO 这个结果我也比较熟悉。 感觉也没到SOTA？

1. 如上图 Table2，作者还给了一个ablation study，关于图文互搜，在hard negatives 以后 M^hard 效果就好了。来论证大模型的modality bias可以通过hard negatives来消除。

1. 如上 Table3， 通过对top10的ture false 排序，能进一步提升。但是提升VQA比较明显， Composed retrieval 就有下降。 （我觉得还是ture false这种binary的形式太简单了，容易overfit，当然作者说CIRR和FashionIQ有多个positive也确实是数据集的问题，不过大家都有遇到。题外话，我们组有个尝试 https://arxiv.org/abs/2509.04376 大家有兴趣的话可以参考，通过挖空填词更接近MLLM训练的情况。）

1. 作者在CIRCO 一个更高质量的composed retrieval 数据集上，发现rerank还是能提升的。（所以我也常常和学生说，结果差只要合理能解释，其实reviewer也能接受。当然，同时你也要给一个好的结果。）

1. 另外，如上表 Table5，有instruction 来finetune 对一些任务有提升，特别是文本query的，因为增强了文本理解。不过对于image query的帮助有点抖动。

1. 如上表 Table7， 可以看到 rerank 其实binary 任务的限制，只在组合搜索 VQA 搜文本好一些。其他大多数情况不太好。

本文首发于郑哲东个人主页： https://www.zdzheng.xyz/blog/mm-embed-universal-multimodal-retrieval-with-multimodal-llms

转载请注明出处。

论文地址：https://arxiv.org/pdf/2604.22984

发表于 CVPR2026

代码和数据集 还没放。

读前疑问:

1. 题目中的 Graph-backed 是什么？ 基于Graph 匹配部件么？
2. 先检索部件，再安上？ 那就是2步了，检索+回归。是这样么？
3. 如果检索，那pool里几种部件？
4. 如果回归部件位置，那对应的维度是几个？6DoF？
5. 最后，即使回归出位置，怎么拼接？信息量是否足够？是不是还要对应块接触点的 位置回归。
6. 是否是一步完成的？ 还是分了几个部分 再拼接到一起？

注：stud特指lego砖上的凸点，tube是 砖后面的凹点。

What:

1. 训练一个 language model来生成 Lego 砖的建筑顺序。
2. 之前的工作是 离散，基于voxel的 tower，如上图，本文考虑了 更一般的 构件 + 5种连接方式，可以组成 成千上万的部件。
3. 收集了一个数据集 有超过 100k的 人工设计的 LDraw 砖和场景。

（注：LDraw 是一个专门给乐高的 免费 设计软件）

4. 有一些挑战：（a）符合物理规律 ；（b）预测block位置简单，但是预测顺序很难；（c）重点在part和part之间的空间关系。

5. 所以作者提出了一个 graph-based program representation，通过 connectivity 来参数化结构。 先根据connectivity建graph，然后再生成安装的顺序（autoregress的过程，不断生成下一步）。

How：

1. 数据集 320,808 样本, 9743 部件。 一共累计 40M块砖。 所以每个建筑平均 126.4 块砖。每个部件之间的连接形式（5种）都标注了。
2. 借助 LDraw，有超过 24k个CAD复制，单位是LDU，1LDU 约等于 0.4mm。
3. 定义了5种连接方式。 比如：最后一种fixed，是正好扣住没有freedom的。标注的话，就是检查凸点（stud）的类型和旋转矩阵，基本就能推理出来。
4. 还做了 冲突（collision）检查，但是不好弄。（a）作者说，实际上拼lego，也是用力按上的 ，所以collision不太好评估；（b）因为lego建筑物不要求water-tight，作者说一些 VHACD 方法不好用（我猜是一些整体的 convex检测？看有没有缝隙的）。 最终，作者是设计了一个pipline ， render the part library watertight 等等做了一个过滤，但没细说。
5. graph，部件作为node，连接作为edge 。从任意起点，可以采样一个建筑顺序，和怎么连接的方式+ 6DoF。如下图。

1. 数据集划了有overlap的 两个训练集和，BrickNet-PT（pretrain）和 BrickNet-SFT （fiinetuning）。

BrickNet-SFT小一些 ， 67k样本 。质量比较高，是没有collisition的。 用Gemini2.5 标注了caption。其中，留了 512个 样本作为evalation。

BrickNet-PT 就是混合了SFT和 剩下所有的样本。

其实截止目前 （Section4结束） 都没怎么说方法，都在说 数据 / 数据结构 / 标注。

实验：

1. Unconditional Generation

给个[Start]这种开始的token，让模型 autoregress一个 物理上合理的，没有穿模的 结构。

（1）作者用了 Brick-PT，然后每个序列采样了序列。每个序列最多有100个pieces。 finetune了不同大小的 Qwen3 instruct 模型 ，序列长度限制在4096个token。

loss用的是最基础的 下一步的 cross-entropy loss。

（2）但是，作者发现 这些模型 如果tempature 不限制，测试的时候 ， 生成 的长序列（2的16次方token）不太行。因为 即使 你有0.1%的 错误， 那你能生成完整4096个token序列的概率是 小于1.7%

所以作者说还是要按 a top-k of 20 and top-p of 0.95来采样。（简单说，要高置信度，限制一下多样性。）

（3）作者主要对比的是不同大小的 Qwen 模型，在生成长序列时候，连接有效性 和 避免冲突。 平均的 成功step 直到failure。 AS就是全温度采样，NS就是限制top采样。可以看到， 其实不同大小模型差距不大。 也就多走2-3步。 表里 pose是 naive 直接预测的，graph是本文的数据结构方法。

2. Text-conditioned Generation

这就用到了 小的 BrickNet-SFT 数据划分，带文本的。

finetune了一下前一 步 我们pretrain模型。 在 512 个 hold-out的样本上册。

用的是 文本到图像的一些指标。 其实模型大小差别也不大，比BrickGPT效果好。

作者还测了Perplexity （这边作者没说怎么算的， 其实就是auto-regress模型 在预测 一个序列的时候 概率乘积）。直观理解的话 ，也是类似 反向的confidence。Perplexity（困惑度）越低 = 模型越有 Confidence（自信）。像conditional generation肯定低。

可视化效果还是比较好的（上面是sft的模型 下面是 之前BrickGPT）。 但也可能是 训练数据集里有类似的？还是需要真的跑一下他们的数据集验证一下 。

遗留问题：

1. 我看这个 sequence 里也没有6DoF。还是没有这个问题，其实他就 插上 也不管坐标系了。但是插哪一个孔 （比如我就插一半的孔，像拱桥一样）好像也没给出来。

2. 这个graph 在大模型训练 / 测试的时候没有用到，就在preprare数据的时候用到了？？

本文首发于郑哲东个人主页： https://www.zdzheng.xyz/blog/bricknet-graph-backed-generative-brick-assembly

转载请注明出处。