OpenRoboto et Axis Robotics lancent Open Axis, un benchmark ouvert dédié à l'évaluation des modèles de robotique. Sa particularité : il est « vivant ». Les tâches de manipulation robotique y sont régulièrement renouvelées, à partir de la bibliothèque de tâches d'Axis Robotics, qui s'enrichit en continu.

L'objectif : empêcher que les modèles ne soient optimisés uniquement sur des ensembles d'évaluation fixes, au risque de mémoriser au lieu de généraliser. En faisant tourner les tâches, Open Axis mesure la capacité réelle d'adaptation des modèles. L'enjeu : disposer d'un étalon de comparaison fiable et difficilement Gameable pour évaluer les modèles robotiques.