Die Analyse von VectorCertain LLC des OpenClaw-GitHub-Repositories hat systemische Ineffizienzen in der Open-Source-Entwicklung aufgedeckt, wobei 20 % der ausstehenden Beiträge als Duplikate identifiziert wurden, die etwa 2.000 Stunden verschwendete Entwicklerzeit repräsentieren. Die Analyse untersuchte alle 3.434 offenen Pull-Requests in einem der weltweit am meisten mit Sternen versehenen KI-Projekte mit 197.000 Followern, unter Verwendung von VectorCertains proprietärer Multi-Modell-KI-Konsensus-Plattform.
Die Ergebnisse zeigen 283 Duplikat-Cluster, in denen mehrere Entwickler unabhängig identische Korrekturen erstellten, wobei 688 redundante Pull-Requests den Review-Prozess verstopfen und knappe Maintainer-Aufmerksamkeit binden. Der größte dokumentierte Duplikat-Cluster umfasste 17 unabhängige Lösungen für einen einzelnen Slack-Direct-Messaging-Bug. Sicherheitskorrekturen wurden drei- bis sechsmal dupliziert, während bekannte Schwachstellen ungepatcht blieben, und 54 Pull-Requests wurden als "Vision Drift" markiert – Beiträge, die nicht mit den Projektzielen übereinstimmen.
VectorCertains Analyse kommt zu einem kritischen Zeitpunkt für OpenClaw, nachdem der Projektgründer Peter Steinberger zu OpenAI gewechselt ist und das Projekt in eine Foundation-Struktur übergegangen ist. Die Analyse unterstützt Steinbergers jüngste Aussage, dass "Unit-Tests nicht ausreichen", um die Plattform im großen Maßstab zu warten, obwohl VectorCertain-Gründer und CEO Joseph P. Conroy darauf hinweist, dass das Problem über Tests hinausgeht. "Unit-Tests überprüfen, ob der Code das tut, was ein Entwickler beabsichtigt hat", erklärt Conroy. "Multi-Modell-Konsensus überprüft, ob das, was der Entwickler gebaut hat, das Richtige ist. Das sind grundlegend verschiedene Fragen, und groß angelegte Open-Source-Projekte benötigen beides."
Das Projekt steht vor weiteren Herausforderungen jenseits duplizierter Pull-Requests, einschließlich wachsender Sicherheitsbedenken. Die ClawHavoc-Kampagne identifizierte 341 bösartige Skills im OpenClaw-Marktplatz, während ein Snyk-Bericht Credential-Handling-Schwachstellen in 7,1 % der registrierten Skills fand. Obwohl Maintainer täglich Hunderte von Commits mergen, haben Pull-Request-Einreichungen die Review-Kapazität bei weitem überholt, mit über 3.100 ausstehenden Pull-Requests zu jedem Zeitpunkt.
VectorCertains Analyse nutzte drei unabhängige KI-Modelle – Llama 3.1 70B, Mistral Large und Gemini 2.0 Flash –, die jeden Pull-Request separat bewerten, bevor ihre Urteile durch Konsensus-Abstimmung fusioniert werden. Dieser sicherheitskritische Ansatz, ähnlich Methoden in autonomen Fahrzeugen und medizinischen KI-Systemen, verarbeitete 48,4 Millionen Tokens über acht Stunden bei Gesamtkosten von 12,80 US-Dollar oder 0,0037 US-Dollar pro analysiertem Pull-Request. Die vollständige Methodik und Ergebnisse sind im jconroy1104.github.io/claw-review/claw-review-report.html-Bericht detailliert.
Das für diese Analyse verwendete claw-review-Tool ist als Open-Source-Software unter einer MIT-Lizenz unter github.com/jconroy1104/claw-review verfügbar, was anderen Projekten ermöglicht, ähnliche Analysen ihrer Repositorys durchzuführen. VectorCertains Enterprise-Plattform erweitert diesen Multi-Modell-Konsensus-Ansatz auf sicherheitskritische Bereiche einschließlich autonomer Fahrzeuge, Cybersicherheit, Gesundheitswesen und Finanzdienstleistungen, unterstützt 20+ parallele Modelle mit formaler Konsensus-Fusion und mathematischen Sicherheitsgarantien.
Die identifizierten 2.000 Stunden verschwendeter Entwicklerzeit repräsentieren nur die unmittelbare Auswirkung, mit weiteren Implikationen für Open-Source-Projekt-Governance, Maintainer-Kapazitätszuweisung und Entwicklungseffizienz in der gesamten Branche. Die Analyse zeigt, wie KI-gestützte Tools systemische Ineffizienzen identifizieren können, die menschliche Maintainer Monate brauchen würden, um sie aufzudecken, und potenziell transformieren, wie groß angelegte Open-Source-Projekte Beiträge und Review-Prozesse managen.
