Turbit publikuje badania nad odpowiedziami na pytania dotyczące sztucznej inteligencji w operacjach wiatrowych

Turbit opublikował badania dotyczące Podstawowe wyzwanie w operacjach wiatrowych: uzyskanie wiarygodnych odpowiedzi na pytania Duże zestawy powtarzających się raportów technicznych. Artykuł "PluriHop – wyczerpujące, Kontrola jakości wrażliwa na przypomnienie w stosunku do korpusów bogatych w dystraktory" demonstruje system sztucznej inteligencji co pozwala osiągnąć do 52% względnej poprawy w porównaniu ze standardowymi podejściami w odpowiedzi dokładności, chociaż bezwzględna wydajność wskazuje na znaczne pole do dalszego badania.

Badania, które przeprowadził Mikołaj Sveistrys i dr Richard Kunert z Turbit Systems GmbH przedstawiają i formalizuje nową kategorię pytań, które wymagają pełnych informacji od całych zestawów dokumentów, w przypadku gdy brak jednego odpowiedniego raportu powoduje Błędna odpowiedź. Wyniki są już dostępne na stronie arXiv.

Generacja rozszerzona o bieżące pobieranie (RAG) zazwyczaj pobierają od 10 do 20 dokumentów i zatrzymują się. Takie podejście działa gdy pytania mają wyraźne punkty zatrzymania, ale kończy się niepowodzeniem, gdy każdy dokument w elemencie Korpus może zawierać istotne informacje. Rezultatem są niepełne odpowiedzi na których operatorzy nie mogą polegać przy podejmowaniu decyzji operacyjnych lub finansowych.

Zespół badawczy ukuł ten termin "pytania pluri-hop" opisujące zapytania, które są:

• Wrażliwe na przypomnienie: pominięcie jednego odpowiedni dokument daje błędną odpowiedź
  
• Wyczerpujące: wszystkie dokumenty muszą być być sprawdzane; Nie ma warunku zatrzymania
  
• No właśnie: jest jeden poprawny odpowiedź, a nie szereg prawidłowych interpretacji
  

Ta kategoria różni się od multi-hop pytania (w przypadku gdy dowody obejmują kilka dokumentów) i zadania podsumowujące (w przypadku gdy Dopuszczalne są przybliżone odpowiedzi). Pytania dotyczące pluri-hop są powszechne w Branże, które generują raporty cykliczne: dzienniki konserwacji, zgodność zgłoszenia, wyniki laboratoryjne i zapisy inspekcji.

Aby zbadać ten problem, zespół stworzył PluriHopWIND: 48 pytań opartych na 191 prawdziwych raportach technicznych z branży wiatrowej operacje, w tym raporty z analizy oleju, przeglądy turbin i serwis logi w języku niemieckim i angielskim.

Kluczową cechą zbioru danych jest wysoki powtarzalność. Operacje wiatrowe generują tysiące podobnych raportów — miesięcznie przeglądy według tego samego szablonu, cykliczna dokumentacja serwisowa, oraz Standaryzowane wyniki testów. Stwarza to znaczne ilości semantycznie podobny, ale nieistotny materiał, który komplikuje wyszukiwanie.

Korzystanie z metryki powtarzalności opartej na podobieństwo między dokumentami, badania pokazują, że PluriHopWIND wynosi 8-40% bardziej powtarzalne niż istniejące testy porównawcze z wieloma przeskokami. Ten wyższy dystraktor gęstość lepiej odzwierciedla praktyczne wyzwania związane z udzielaniem odpowiedzi na pytania dotyczące danych operacyjnych.

W artykule przedstawiono PluriHopRAG, Architektura wyszukiwania zaprojektowana z myślą o odpowiadaniu na pytania wrażliwe na przypomnienia. Ten Podejście polega na tym, że sprawdź wszystkie dokumenty, ale wcześniej odfiltruj nieistotne materiały kosztowne wnioskowanie o modelu językowym.

System implementuje dwie metody:

Przerwy w dekompozycji zapytania na poziomie dokumentu złożone zapytania do podpytań specyficznych dla dokumentu. Zamiast pytać: "Ma Uszkodzenia ostrza spadają?" we wszystkich dokumentach, system każdego z nich. raport: "Czy dotyczy to danej turbiny?", "Na czym polega przegląd data?' i 'Jakie uszkodzenie ostrza zostało zarejestrowane?' Jest to zgodne z tym, w jaki sposób informacje faktycznie istnieje w raportach operacyjnych.

Dokument dotyczący szacunków filtrowania koderów krzyżowych Trafność przy użyciu uproszczonego modelu przed pełnym rozumowaniem modelu językowego Występuje. Zmniejsza to koszty obliczeniowe przy jednoczesnym zachowaniu wysokiej liczby zapamiętanych odpowiednich dokumentów.

W teście porównawczym PluriHopWIND firma PluriHopRAG osiągnął względną poprawę wyników F1 o 18-52% w porównaniu ze standardowym RAG w zależności od podstawowego modelu językowego. Osiągnął również lepsze wyniki niż GraphRAG i multimodalnych systemów RAG.

Badania te zostały przeprowadzone w ramach Opracowanie przez Turbit Turbit Assistant, systemu sztucznej inteligencji, który wyodrębnia informacje z raportów technicznych i automatyzuje rutynową analizę. Metody wykazane w ramach PluriHopRAG bezpośrednio poprawiają zdolność asystenta do Wiarygodne odpowiedzi z dokumentacji operacyjnej.

W dokumencie podano, że obecne podejścia w tym PluriHopRAG, osiągnij co najwyżej 40-47% wyniku F1 pod względem stwierdzeń na Punkt odniesienia. Chociaż PluriHopRAG wykazuje znaczną poprawę w stosunku do wartości wyjściowych i konkurencyjnych metod, autorzy zauważają, że pozostawia to znaczną przestrzeń na przyszłość Ulepszenia. Stosunkowo skromna wydajność bezwzględna podkreśla trudność zadania polegającego na odpowiadaniu na pytania Pluri-hop i wskazuje, że pozostaje to Jest to aktywny obszar wymagający ciągłych badań.

Badania formalizują pytania dotyczące pluri-hopu jako odrębna kategoria wymagająca innych strategii wyszukiwania niż Konwencjonalne zadania z wieloma przeskokami lub podsumowania. Test porównawczy PluriHopWIND, z Jego wysoka gęstość dystraktora oparta na rzeczywistych danych z branży wiatrowej, eksponuje prąd ograniczenia w systemach odpowiadania na pytania AI podczas obsługi raportów cyklicznych Corpora.

Architektura PluriHopRAG pokazuje, że To wyczerpujące wyszukiwanie w połączeniu z wydajnym filtrowaniem może zapewnić wymierna poprawa w porównaniu ze standardowymi podejściami. Jednak absolutna wydajność wskazują, że nadal istnieją znaczne możliwości w zakresie rozwoju metod domena. W przypadku branż opartych na cyklicznych danych raportowych, w tym energetyki wiatrowej, opieka zdrowotna, finanse i zgodność z przepisami — te wyniki stanowią podstawę do budowania bardziej niezawodnych systemów sztucznej inteligencji, przy jednoczesnym uznaniu złożoności wyzwanie.

Wraz z rozwojem flot wiatrowych i danymi operacyjnymi wolumeny wzrastają, sprostanie wyzwaniu polegającemu na odpowiadaniu na pytania PLURI-HOP staje się Ma to coraz większe znaczenie dla utrzymania niezawodnych i wydajnych operacji.

Czytać cały artykuł: PluriHop – Wyczerpująca, wrażliwa na przypomnienia kontrola jakości w porównaniu z dystraktorami Korpusy Mykołasa Sveistrysa i dr. Richarda Kunert, dostępny na arXiv.