{"id":3581,"date":"2026-08-06T15:10:30","date_gmt":"2026-08-06T13:10:30","guid":{"rendered":"https:\/\/lyfx.ai\/?page_id=3581"},"modified":"2026-08-06T16:32:14","modified_gmt":"2026-08-06T14:32:14","slug":"pfd_bench_accuracy_report","status":"publish","type":"page","link":"https:\/\/lyfx.ai\/pt\/pfd_bench_accuracy_report\/","title":{"rendered":"PFD_Bench_accuracy_report"},"content":{"rendered":"
\n
\"\"<\/span>
\n
<\/div>\n<\/div><\/div>\n\n\n\n
<\/div>\n<\/div>\n\n\n\n
\n

Qu\u00e3o fi\u00e1vel \u00e9 o PFD Bench?<\/h1>\n\n\n\n

O PFD Bench l\u00ea um fluxograma de processo (DXF) e produz uma tabela de equipamentos estruturada (SET): cada unidade, o seu tipo e a forma como est\u00e1 ligada. Com base nesta tabela, gera posteriormente uma descri\u00e7\u00e3o de processo escrita. A qualidade da SET \u00e9 cr\u00edtica para o resultado da descri\u00e7\u00e3o: se cometer alguns erros cr\u00edticos na SET, toda a descri\u00e7\u00e3o ficar\u00e1 errada.<\/p>\n\n\n\n

Por este motivo, o PFD Bench possui uma etapa de interven\u00e7\u00e3o humana (Human-In-The-Loop) logo ap\u00f3s a extra\u00e7\u00e3o de SET, para que o utilizador tenha a oportunidade de corrigir qualquer erro cometido pela IA. Al\u00e9m disso, executamos ciclos de avalia\u00e7\u00e3o para medir a qualidade da extra\u00e7\u00e3o de SET em compara\u00e7\u00e3o com tabelas de refer\u00eancia curadas por um engenheiro de processos s\u00e9nior, em 8 diagramas de fluxo de processos industriais reais. Embora n\u00e3o possamos partilhar os diagramas com o p\u00fablico (est\u00e3o sob acordo de confidencialidade), podemos mostrar os resultados da avalia\u00e7\u00e3o e estat\u00edsticas aproximadas sobre a complexidade de cada desenho.<\/p>\n\n\n\n

A avalia\u00e7\u00e3o \u00e9 feita processando cada desenho 10 vezes de forma independente (80 execu\u00e7\u00f5es no total) com as mesmas defini\u00e7\u00f5es que todos os utilizadores t\u00eam no PFD Bench. Atualmente, os SETs s\u00e3o processados com o Google Gemini 2.5 Pro. Os n\u00fameros abaixo incluem a dispers\u00e3o entre execu\u00e7\u00f5es, para que se possa ver n\u00e3o s\u00f3 a qualidade m\u00e9dia da extra\u00e7\u00e3o, mas tamb\u00e9m a sua vari\u00e2ncia.<\/p>\n\n\n\n

Os desenhos<\/h2>\n\n\n\n

Complexidade em termos simples: quantas unidades de equipamento e quantas liga\u00e7\u00f5es de correntes documentadas entre elas. A densidade (liga\u00e7oes por unidade) \u00e9 o que torna um desenho particularmente dif\u00edcil. As f\u00e1bricas altamente interconectadas s\u00e3o mais dif\u00edceis de rastrear do que as linhas lineares.<\/p>\n\n\n\n

Desenho<\/th>Unidades de equipamento<\/th>Liga\u00e7\u00f5es de fluxo<\/th>Densidade<\/th><\/tr><\/thead>
pfd_03<\/td>8<\/td>20<\/td>2.5<\/td><\/tr>
pfd_04<\/td>20<\/td>53<\/td>2.6<\/td><\/tr>
pfd_05<\/td>18<\/td>46<\/td>2.6<\/td><\/tr>
pfd_06<\/td>19<\/td>48<\/td>2.5<\/td><\/tr>
pfd_07<\/td>33<\/td>175<\/td>5.3<\/strong><\/td><\/tr>
pfd_08<\/td>32<\/td>116<\/td>3.6<\/strong><\/td><\/tr>
pfd_09<\/td>29<\/td>69<\/td>2.4<\/td><\/tr>
pfd_10<\/td>28<\/td>83<\/td>3.0<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Resultados<\/h2>\n\n\n\n

As pontua\u00e7\u00f5es s\u00e3o F1 \u00d7 100<\/strong> (see “How to read these numbers” below), one column per field of the extracted table: mean \u00b1 standard deviation over the 10 runs. The closer to 100, the better. Anything above 80 is already an excellent extraction with very few errors.<\/p>\n\n\n\n

Desenho<\/th>Etiqueta<\/th>Tipo de equipamento<\/th>Cursos de \u00e1gua de alimenta\u00e7\u00e3o<\/th>Entrada #<\/th>Fluxos de sa\u00edda<\/th>Tomada #<\/th><\/tr><\/thead>
pfd_03<\/td>93 \u00b1 8<\/td>90 \u00b1 14<\/td>96 \u00b1 6<\/td>93 \u00b1 8<\/td>94 \u00b1 7<\/td>93 \u00b1 8<\/td><\/tr>
pfd_04<\/td>96 \u00b1 3<\/td>95 \u00b1 5<\/td>94 \u00b1 3<\/td>95 \u00b1 5<\/td>89 \u00b1 2<\/td>93 \u00b1 5<\/td><\/tr>
pfd_05<\/td>99 \u00b1 3<\/td>98 \u00b1 3<\/td>94 \u00b1 6<\/td>94 \u00b1 3<\/td>92 \u00b1 5<\/td>92 \u00b1 6<\/td><\/tr>
pfd_06<\/td>93 \u00b1 1<\/td>93 \u00b1 1<\/td>92 \u00b1 5<\/td>93 \u00b1 2<\/td>92 \u00b1 6<\/td>90 \u00b1 3<\/td><\/tr>
pfd_07<\/td>99 \u00b1 1<\/td>97 \u00b1 4<\/td>78 \u00b1 9<\/td>83 \u00b1 17<\/td>78 \u00b1 9<\/td>88 \u00b1 15<\/td><\/tr>
pfd_08<\/td>99 \u00b1 1<\/td>98 \u00b1 2<\/td>76 \u00b1 3<\/td>78 \u00b1 9<\/td>80 \u00b1 3<\/td>88 \u00b1 10<\/td><\/tr>
pfd_09<\/td>90 \u00b1 7<\/td>90 \u00b1 7<\/td>96 \u00b1 5<\/td>88 \u00b1 7<\/td>97 \u00b1 2<\/td>88 \u00b1 7<\/td><\/tr>
pfd_10<\/td>94 \u00b1 5<\/td>92 \u00b1 9<\/td>90 \u00b1 6<\/td>89 \u00b1 7<\/td>85 \u00b1 5<\/td>76 \u00b1 7<\/td><\/tr>
Todos os desenhos (reunidos)<\/strong><\/td>96<\/strong><\/td>95<\/strong><\/td>86<\/strong><\/td>88<\/strong><\/td>86<\/strong><\/td>88<\/strong><\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Por extenso: a identifica\u00e7\u00e3o de equipamento est\u00e1 essencialmente resolvida<\/strong>. Equipment tags and types land at 95\u201396% across the set, and on clean drawings at 98\u201399%. Connectivity mapping runs at 86\u201390% on typical drawings<\/strong>; the densest, most interconnected plants (pfd_07, pfd_08) pull the stream columns toward 76\u201380%. Still very good, but it shows that tracing every branch of highly dense diagrams demands further improvements to the models and to how we pre-process the data the LLM is served.<\/p>\n\n\n\n

\n\n\n\n

Como ler estes n\u00fameros<\/h2>\n\n\n\n

Cada pontua\u00e7\u00e3o \u00e9 um F1 score<\/a>, que \u00e9 a medida de precis\u00e3o padr\u00e3o para tarefas de extrac\u00e7\u00e3o, combinando a precis\u00e3o e a revoca\u00e7\u00e3o num \u00fanico n\u00famero (100 = perfeito). No nosso contexto:<\/p>\n\n\n\n