{"id":3581,"date":"2026-08-06T15:10:30","date_gmt":"2026-08-06T13:10:30","guid":{"rendered":"https:\/\/lyfx.ai\/?page_id=3581"},"modified":"2026-08-06T16:32:14","modified_gmt":"2026-08-06T14:32:14","slug":"pfd_bench_accuracy_report","status":"publish","type":"page","link":"https:\/\/lyfx.ai\/de\/pfd_bench_accuracy_report\/","title":{"rendered":"PFD_Bench_accuracy_report"},"content":{"rendered":"
\n
\"\"<\/span>
\n
<\/div>\n<\/div><\/div>\n\n\n\n
<\/div>\n<\/div>\n\n\n\n
\n

Wie genau ist PFD Bench?<\/h1>\n\n\n\n

PFD Bench liest ein Flie\u00dfbild (DXF) und erstellt eine strukturierte Ger\u00e4tetabelle (SET): jede Einheit, ihren Typ und wie sie verbunden ist. Basierend auf dieser Tabelle wird anschlie\u00dfend eine schriftliche Prozessbeschreibung generiert. Die Qualit\u00e4t der SET ist entscheidend f\u00fcr das Ergebnis der Beschreibung: Macht man ein paar kritische Fehler in der SET, ist die gesamte Beschreibung falsch.<\/p>\n\n\n\n

Aus diesem Grund verf\u00fcgt PFD Bench direkt nach der SET-Extraktion \u00fcber einen Human-In-The-Loop-Schritt, sodass der Benutzer die M\u00f6glichkeit hat, eventuelle Fehler der KI zu korrigieren. Dar\u00fcber hinaus f\u00fchren wir Bewertungsschleifen durch, um die Qualit\u00e4t der SET-Extraktion anhand von Referenztabellen zu messen, die von einem leitenden Prozessingenieur an 8 realen industriellen Flie\u00dfbildern erstellt wurden. Zwar k\u00f6nnen wir die Diagramme nicht \u00f6ffentlich zug\u00e4nglich machen (diese unterliegen einer Vertraulichkeitsvereinbarung), wir k\u00f6nnen jedoch die Evaluierungsergebnisse und grobe Statistiken zur Komplexit\u00e4t der einzelnen Zeichnungen vorlegen.<\/p>\n\n\n\n

Die Auswertung erfolgt, indem jede Zeichnung 10 Mal unabh\u00e4ngig voneinander verarbeitet wird (insgesamt 80 Durchl\u00e4ufe) bei denselben Einstellungen, die alle Benutzer im PFD Bench haben. Derzeit werden die SETs mit Google Gemini 2.5 Pro verarbeitet. Die Zahlen unten beinhalten die Streuung von Durchlauf zu Durchlauf, sodass man nicht nur die Extraktionsqualit\u00e4t im Durchschnitt, sondern auch deren Varianz sehen kann.<\/p>\n\n\n\n

Die Zeichnungen<\/h2>\n\n\n\n

Komplexit\u00e4t in einfachen Worten: wie viele Ausr\u00fcstungseinheiten und wie viele dokumentierte Stromverbindungen zwischen ihnen. Die Dichte (Verbindungen pro Einheit) macht eine Zeichnung besonders schwierig. Stark vernetzte Anlagen sind schwerer nachzuvollziehen als lineare Str\u00e4nge.<\/p>\n\n\n\n

Zeichnung<\/th>Ausr\u00fcstungseinheiten<\/th>Stream-Verbindungen<\/th>Dichte<\/th><\/tr><\/thead>
pfd_03<\/td>8<\/td>20<\/td>2.5<\/td><\/tr>
pfd_04<\/td>20<\/td>53<\/td>2.6<\/td><\/tr>
pfd_05<\/td>18<\/td>46<\/td>2.6<\/td><\/tr>
pfd_06<\/td>19<\/td>48<\/td>2.5<\/td><\/tr>
pfd_07<\/td>33<\/td>175<\/td>5.3<\/strong><\/td><\/tr>
pfd_08<\/td>32<\/td>116<\/td>3.6<\/strong><\/td><\/tr>
pfd_09<\/td>29<\/td>69<\/td>2.4<\/td><\/tr>
pfd_10<\/td>28<\/td>83<\/td>3.0<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Ergebnisse<\/h2>\n\n\n\n

Die Spielst\u00e4nde sind F1 \u00d7 100<\/strong> (see “How to read these numbers” below), one column per field of the extracted table: mean \u00b1 standard deviation over the 10 runs. The closer to 100, the better. Anything above 80 is already an excellent extraction with very few errors.<\/p>\n\n\n\n

Zeichnung<\/th>Tag<\/th>Ger\u00e4tetyp<\/th>Zufl\u00fcsse<\/th>Einlass #<\/th>Abfl\u00fcsse<\/th>Steckdose #<\/th><\/tr><\/thead>
pfd_03<\/td>93 \u00b1 8<\/td>90 \u00b1 14<\/td>96 \u00b1 6<\/td>93 \u00b1 8<\/td>94 \u00b1 7<\/td>93 \u00b1 8<\/td><\/tr>
pfd_04<\/td>96 \u00b1 3<\/td>95 \u00b1 5<\/td>94 \u00b1 3<\/td>95 \u00b1 5<\/td>89 \u00b1 2<\/td>93 \u00b1 5<\/td><\/tr>
pfd_05<\/td>99 \u00b1 3<\/td>98 \u00b1 3<\/td>94 \u00b1 6<\/td>94 \u00b1 3<\/td>92 \u00b1 5<\/td>92 \u00b1 6<\/td><\/tr>
pfd_06<\/td>93 \u00b1 1<\/td>93 \u00b1 1<\/td>92 \u00b1 5<\/td>93 \u00b1 2<\/td>92 \u00b1 6<\/td>90 \u00b1 3<\/td><\/tr>
pfd_07<\/td>99 \u00b1 1<\/td>97 \u00b1 4<\/td>78 \u00b1 9<\/td>83 \u00b1 17<\/td>78 \u00b1 9<\/td>88 \u00b1 15<\/td><\/tr>
pfd_08<\/td>99 \u00b1 1<\/td>98 \u00b1 2<\/td>76 \u00b1 3<\/td>78 \u00b1 9<\/td>80 \u00b1 3<\/td>88 \u00b1 10<\/td><\/tr>
pfd_09<\/td>90 \u00b1 7<\/td>90 \u00b1 7<\/td>96 \u00b1 5<\/td>88 \u00b1 7<\/td>97 \u00b1 2<\/td>88 \u00b1 7<\/td><\/tr>
pfd_10<\/td>94 \u00b1 5<\/td>92 \u00b1 9<\/td>90 \u00b1 6<\/td>89 \u00b1 7<\/td>85 \u00b1 5<\/td>76 \u00b1 7<\/td><\/tr>
Alle Zeichnungen (zusammengefasst)<\/strong><\/td>96<\/strong><\/td>95<\/strong><\/td>86<\/strong><\/td>88<\/strong><\/td>86<\/strong><\/td>88<\/strong><\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

In Worten: Die Ger\u00e4teidentifizierung ist im Wesentlichen gel\u00f6st.<\/strong>. Equipment tags and types land at 95\u201396% across the set, and on clean drawings at 98\u201399%. Connectivity mapping runs at 86\u201390% on typical drawings<\/strong>; the densest, most interconnected plants (pfd_07, pfd_08) pull the stream columns toward 76\u201380%. Still very good, but it shows that tracing every branch of highly dense diagrams demands further improvements to the models and to how we pre-process the data the LLM is served.<\/p>\n\n\n\n

\n\n\n\n

Wie man diese Zahlen liest<\/h2>\n\n\n\n

Jedes Ergebnis ist eine F1-Score<\/a>, was das Standard-Genauigkeitsma\u00df f\u00fcr Extraktionsaufgaben ist und Pr\u00e4zision sowie Recall in einer Zahl kombiniert (100 = perfekt). In unserem Kontext:<\/p>\n\n\n\n