{"id":3581,"date":"2026-08-06T15:10:30","date_gmt":"2026-08-06T13:10:30","guid":{"rendered":"https:\/\/lyfx.ai\/?page_id=3581"},"modified":"2026-08-06T16:32:14","modified_gmt":"2026-08-06T14:32:14","slug":"pfd_bench_accuracy_report","status":"publish","type":"page","link":"https:\/\/lyfx.ai\/de\/pfd_bench_accuracy_report\/","title":{"rendered":"PFD_Bench_Genauigkeitsbericht"},"content":{"rendered":"
\n
\"\"<\/span>
\n
<\/div>\n<\/div><\/div>\n\n\n\n
<\/div>\n<\/div>\n\n\n\n
\n

Wie genau ist PFD Bench?<\/h1>\n\n\n\n

PFD Bench liest ein Flie\u00dfbild (DXF) und erstellt eine strukturierte Ger\u00e4tetabelle (SET): jede Einheit, ihren Typ und wie sie verbunden ist. Basierend auf dieser Tabelle wird anschlie\u00dfend eine schriftliche Prozessbeschreibung generiert. Die Qualit\u00e4t der SET ist entscheidend f\u00fcr das Ergebnis der Beschreibung: Macht man ein paar kritische Fehler in der SET, ist die gesamte Beschreibung falsch.<\/p>\n\n\n\n

Aus diesem Grund verf\u00fcgt PFD Bench direkt nach der SET-Extraktion \u00fcber einen Human-In-The-Loop-Schritt, sodass der Benutzer die M\u00f6glichkeit hat, eventuelle Fehler der KI zu korrigieren. Dar\u00fcber hinaus f\u00fchren wir Bewertungsschleifen durch, um die Qualit\u00e4t der SET-Extraktion anhand von Referenztabellen zu messen, die von einem leitenden Prozessingenieur an 8 realen industriellen Flie\u00dfbildern erstellt wurden. Zwar k\u00f6nnen wir die Diagramme nicht \u00f6ffentlich zug\u00e4nglich machen (diese unterliegen einer Vertraulichkeitsvereinbarung), wir k\u00f6nnen jedoch die Evaluierungsergebnisse und grobe Statistiken zur Komplexit\u00e4t der einzelnen Zeichnungen vorlegen.<\/p>\n\n\n\n

Die Auswertung erfolgt, indem jede Zeichnung 10 Mal unabh\u00e4ngig voneinander verarbeitet wird (insgesamt 80 Durchl\u00e4ufe) bei denselben Einstellungen, die alle Benutzer im PFD Bench haben. Derzeit werden die SETs mit Google Gemini 2.5 Pro verarbeitet. Die Zahlen unten beinhalten die Streuung von Durchlauf zu Durchlauf, sodass man nicht nur die Extraktionsqualit\u00e4t im Durchschnitt, sondern auch deren Varianz sehen kann.<\/p>\n\n\n\n

Die Zeichnungen<\/h2>\n\n\n\n

Komplexit\u00e4t in einfachen Worten: wie viele Ausr\u00fcstungseinheiten und wie viele dokumentierte Stromverbindungen zwischen ihnen. Die Dichte (Verbindungen pro Einheit) macht eine Zeichnung besonders schwierig. Stark vernetzte Anlagen sind schwerer nachzuvollziehen als lineare Str\u00e4nge.<\/p>\n\n\n\n

Zeichnung<\/th>Ausr\u00fcstungseinheiten<\/th>Stream-Verbindungen<\/th>Dichte<\/th><\/tr><\/thead>
pfd_03<\/td>8<\/td>20<\/td>2.5<\/td><\/tr>
pfd_04<\/td>20<\/td>53<\/td>2.6<\/td><\/tr>
pfd_05<\/td>18<\/td>46<\/td>2.6<\/td><\/tr>
pfd_06<\/td>19<\/td>48<\/td>2.5<\/td><\/tr>
pfd_07<\/td>33<\/td>175<\/td>5.3<\/strong><\/td><\/tr>
pfd_08<\/td>32<\/td>116<\/td>3.6<\/strong><\/td><\/tr>
pfd_09<\/td>29<\/td>69<\/td>2.4<\/td><\/tr>
pfd_10<\/td>28<\/td>83<\/td>3.0<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Ergebnisse<\/h2>\n\n\n\n

Die Spielst\u00e4nde sind F1 \u00d7 100<\/strong> (siehe \u201cSo lesen Sie diese Zahlen\u201d unten), eine Spalte pro Feld der extrahierten Tabelle: Mittelwert \u00b1 Standardabweichung \u00fcber die 10 Durchl\u00e4ufe. Je n\u00e4her an 100, desto besser. Alles \u00fcber 80 ist bereits eine exzellente Extraktion mit sehr wenigen Fehlern.<\/p>\n\n\n\n

Zeichnung<\/th>Tag<\/th>Ger\u00e4tetyp<\/th>Zufl\u00fcsse<\/th>Einlass #<\/th>Abfl\u00fcsse<\/th>Steckdose #<\/th><\/tr><\/thead>
pfd_03<\/td>93 \u00b1 8<\/td>90 \u00b1 14<\/td>96 \u00b1 6<\/td>93 \u00b1 8<\/td>94 \u00b1 7<\/td>93 \u00b1 8<\/td><\/tr>
pfd_04<\/td>96 \u00b1 3<\/td>95 \u00b1 5<\/td>94 \u00b1 3<\/td>95 \u00b1 5<\/td>89 \u00b1 2<\/td>93 \u00b1 5<\/td><\/tr>
pfd_05<\/td>99 \u00b1 3<\/td>98 \u00b1 3<\/td>94 \u00b1 6<\/td>94 \u00b1 3<\/td>92 \u00b1 5<\/td>92 \u00b1 6<\/td><\/tr>
pfd_06<\/td>93 \u00b1 1<\/td>93 \u00b1 1<\/td>92 \u00b1 5<\/td>93 \u00b1 2<\/td>92 \u00b1 6<\/td>90 \u00b1 3<\/td><\/tr>
pfd_07<\/td>99 \u00b1 1<\/td>97 \u00b1 4<\/td>78 \u00b1 9<\/td>83 \u00b1 17<\/td>78 \u00b1 9<\/td>88 \u00b1 15<\/td><\/tr>
pfd_08<\/td>99 \u00b1 1<\/td>98 \u00b1 2<\/td>76 \u00b1 3<\/td>78 \u00b1 9<\/td>80 \u00b1 3<\/td>88 \u00b1 10<\/td><\/tr>
pfd_09<\/td>90 \u00b1 7<\/td>90 \u00b1 7<\/td>96 \u00b1 5<\/td>88 \u00b1 7<\/td>97 \u00b1 2<\/td>88 \u00b1 7<\/td><\/tr>
pfd_10<\/td>94 \u00b1 5<\/td>92 \u00b1 9<\/td>90 \u00b1 6<\/td>89 \u00b1 7<\/td>85 \u00b1 5<\/td>76 \u00b1 7<\/td><\/tr>
Alle Zeichnungen (zusammengefasst)<\/strong><\/td>96<\/strong><\/td>95<\/strong><\/td>86<\/strong><\/td>88<\/strong><\/td>86<\/strong><\/td>88<\/strong><\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

In Worten: Die Ger\u00e4teidentifizierung ist im Wesentlichen gel\u00f6st.<\/strong>. Ausr\u00fcstungsbezeichnungen und -typen liegen im gesamten Satz bei 95\u201396% und in sauberen Zeichnungen bei 98\u201399%. Die Konnektivit\u00e4tsanalyse l\u00e4uft bei typischen Zeichnungen mit 86\u2013901 TP3T.<\/strong>; die dichtesten, am st\u00e4rksten vernetzten Anlagen (pfd_07, pfd_08) ziehen die Str\u00f6mungss\u00e4ulen in Richtung 76\u201380%. Das ist zwar immer noch sehr gut, zeigt aber, dass die Nachverfolgung jedes Zweigs in sehr dichten Diagrammen weitere Verbesserungen an den Modellen und an der Vorverarbeitung der Daten erfordert, die dem LLM zugef\u00fchrt werden.<\/p>\n\n\n\n

\n\n\n\n

Wie man diese Zahlen liest<\/h2>\n\n\n\n

Jedes Ergebnis ist eine F1-Score<\/a>, was das Standard-Genauigkeitsma\u00df f\u00fcr Extraktionsaufgaben ist und Pr\u00e4zision sowie Recall in einer Zahl kombiniert (100 = perfekt). In unserem Kontext:<\/p>\n\n\n\n