card #85 · comparação de extratores
Como achar as leis citadas
Quatro abordagens independentes leem o inteiro teor completo do mesmo acórdão e dizem onde há referência a lei. As amostras têm tamanhos diferentes: o LLM é lento e o Jev é pago, então cada um foi até onde cabia. O tamanho de cada amostra está declarado abaixo.
Laya-ft-v1 (destilado): filtro de falsos positivos e árvore V·F·S
O modelo Laya-ft-v1 (1B destilado localmente pela equipe) atua em duas frentes sem custo de API: (1) como juiz de capturas do extrator por regras (em 72,4 ms/trecho na RX 6700 XT), reprovando 95% das enumerações ruidosas enquanto preserva citações válidas; e (2) classificando a função retórica V·F·S (F1 caso · F2 norma aplicável · F3 alegação/ruído), demonstrando por que metade das citações do relatório são ruído de parte.
Na mesma unidade: dispositivos distintos por acórdão
Os quatro contam coisas diferentes — o NER conta entidades, o regex conta
ocorrências de norma e de artigo, o Jev conta passagens (ele não nomeia leis) e o
LLM conta menções. Aqui todos viram o mesmo objeto: o conjunto de dispositivos
art<N>-<DIPLOMA> do acórdão. Para cada marca de cada abordagem,
lê-se uma janela do texto em volta dela e aplica-se o mesmo extrator. O que muda entre as
colunas passa a ser onde cada abordagem mandou olhar.
Concordância — do que a linha achou, quanto a coluna também achou
Sem gabarito não há precisão nem recall: achar mais não é achar melhor. A linha regex puro é o extrator por expressões regulares deste projeto (scrapers/dispositivos.py, sem modelo nenhum) lendo o acórdão inteiro, como ponto de referência. Uma citação que ele não reconhece não conta para nenhuma coluna.
Temperatura e carga da GPU
O lote roda num desktop com Radeon RX 6700 XT. A linha escura é a temperatura de junção; a clara, o uso da GPU.
Acórdãos processados
Número de referências que cada abordagem encontrou. Em destaque, a que mais achou naquele acórdão.