Behauptungs-Integrität

Das Behauptungs-Manifest.

kompiliert 42/42 · Urteil ALL_TRACED

Diese Website sagt, dass sich jedes Solver-Ergebnis, das sie veröffentlicht, auf ein gehashtes Artefakt zurückführen lässt. Diese Seite ist der Nachweis, nicht das Versprechen. Bevor die Website gebaut wird, wird jede Zahl unten gegen das JSON-Artefakt aufgelöst, aus dem sie stammt, mit dem dort tatsächlich gespeicherten Wert verglichen und gegen eine deklarierte Toleranz geprüft. Lässt sich eine Behauptung nicht auflösen, bricht der Build ab.

Jede Behauptung und worauf sie aufgelöst wurde

stated ist die Zahl, wie sie auf der Website erscheint. evidence ist die aus dem Artefakt gelesene Zahl. Δ ist die relative Differenz zwischen beiden, und sie muss unter der Toleranz liegen, die die Behauptung vor der Kompilierung deklariert hat. Die Prüfsumme ist der SHA-256 des Artefakts, aus dem der Wert gelesen wurde, auf zwölf Zeichen gekürzt.

Was zurückgehalten wird und warum

Das Manifest enthält pro Behauptung ein weiteres Feld, das diese Seite nicht zeigt: den Pfad zum Evidenz-Artefakt. Diese Pfade sind Verzeichnisnamen aus echten Kampagnen, und sie tragen den Namen eines Kunden sowie eine Triebwerksbezeichnung, deren Veröffentlichung uns nicht zusteht. Sie werden daher im Build-Schritt entfernt statt umschrieben, und der Build schlägt fehl, wenn einer von ihnen in die Ausgabe gelangt.

Machen Sie sich klar, was Sie das kostet. Eine Prüfsumme, die Sie nicht gegen eine Datei auflösen können, die Sie nicht haben, ist keine Verifikation — sie ist eine Selbstverpflichtung. Was sie einbringt, ist, dass der Wert später nicht stillschweigend geändert werden kann, ohne dass sich auch die Prüfsumme ändert, und dass dasselbe Manifest unter einer Arbeitsvereinbarung kompiliert wird, bei der die Artefakte selbst mitgeliefert werden. Das ist in der Zusammenarbeit enthalten.

Was nicht in diesem Manifest steht

Fünf Zahlen erscheinen auf dieser Website und stehen nicht in der Tabelle oben. Alle fünf stammen aus den Proxy-Drift-Orakeln, die in der Fallstudie zum ehrlichen Fehlschlag beschrieben sind: Der Proxy wurde als 40.1% zu optimistisch gemessen, seine gemeldete Genauigkeit war um ~81× untertrieben, sein Konfidenzband um ~48σ zu eng, und der gemeldete Fehler des Surrogats von 0.0056 stand einem effektiven Fehler von 0.454 gegenüber.

Diese Orakel schrieben ihre Ergebnisse in einen Eintrag im Ingenieurjournal statt in ein JSON-Artefakt, es gibt also nichts, wogegen der Compiler sie auflösen könnte. Sie sind nicht claim-grade und sie zählen nicht in die 42. Sie bleiben auf der Website, weil das Löschen der Messung unseres eigenen blinden Flecks die größere Unehrlichkeit wäre — aber sie sind hier namentlich markiert, damit kein Leser die Lücke selbst entdecken muss.