✦ Warunek zatrzymania (13)

Na jednej ze stron draftu, który Microsoft opublikował w poniedziałek, jest zdanie napisane językiem regulaminu, w którym MAI Models to własne modele Microsoftu: „Ongoing autonomous work has an agreed stopping condition. MAI Models will not continue or restart after that condition is met without renewed authorization.”

Autonomiczna praca ma warunek zatrzymania, a model nie wznawia jej po jego spełnieniu bez nowej zgody. Mowa o agentach, czyli programach, które nie odpowiadają na pytania, tylko same wykonują kolejne kroki zadania i po drodze sięgają po firmowe systemy.

Artykuł 14 ustęp 4 litera e aktu o sztucznej inteligencji, obowiązujący od 2 sierpnia, każe zapewnić możliwość przerwania działania systemu wysokiego ryzyka przyciskiem stop albo równoważną procedurą, tak żeby system zatrzymał się w bezpiecznym stanie.

Nie ma odpowiedzi tam, gdzie przepis się kończy: po czym poznaję, że pora nacisnąć, kto ma prawo to zrobić i co znaczy wznowienie. W procedurach wdrożeniowych, które w tym roku widziałem, jest klasyfikacja ryzyka, właściciel biznesowy, ocena dostawcy i lista przetwarzanych danych. Jest też odwołanie do artykułu 14. Nie ma pola, w którym ktoś wpisuje warunek.

Dwa tygodnie temu pisałem o preprincie, w którym sto kopii jednego modelu w 27 minut rozniosło po wspólnej bibliotece obejście weryfikatora. Część agentów oszustwo wykryła i zgłosiła, tylko nie potrafiła go zatrzymać. Autorzy odtworzyli efekt w kolejnych przebiegach (preprint). Wtedy wyglądało to na usterkę jednego eksperymentu. W tym tygodniu ukazały się kolejne publikacje, które czytam jako trzy podejścia do tej samej luki.

Microsoft wypuścił draft kodeksu postępowania dla swoich modeli i otworzył sześciotygodniowe konsultacje. Dokument ma dziesięć zakazów bezwzględnych i napisano, że nie może ich znieść ani użytkownik, ani firma wdrażająca model. Jeden z nich dotyczy utraty kontroli: model nie będzie używał mechanizmów adaptacyjnych, zwodniczych, samowzmacniających ani zmowy, żeby wymknąć się nadzorowi na tyle, by autoryzowani ludzie nie mogli go już pewnie kierować, zmieniać ani wyłączyć. Osobna sekcja dokłada cztery zobowiązania: nie opierać się przerwaniu i wyłączeniu, zostać w autoryzowanym zakresie, nie przyjmować celów, których nikt nie postawił, i nie zacierać śladów działania przed audytorem. Dokument kończy zdanie: jeśli ludzie tego nie rozumieją, to nie mogą tego nadzorować. Kodeks · PDF

Tego samego dnia, na otwarciu chińskiego Tygodnia Cyberbezpieczeństwa, komitet normalizacyjny TC260 wydał trzecią w trzy lata edycję Ram Zarządzania Bezpieczeństwem AI. Według wstępu sztuczna inteligencja przechodzi od odpowiadania na pytania do wykonywania zadań. Doszedł załącznik o ryzyku agentów, w którym cykl życia rozbito na fazy, od projektowania, przez wejście instrukcji, planowanie, wywoływanie narzędzi i pamięć, aż po wycofanie i wyłączenie. Zagrożenia to instrukcje ukryte w dokumentach, mailach i logach, przejęcie poświadczeń, nadmierna autoryzacja i narzędzia z podłożonymi backdoorami albo podszywające się pod legalne narzędzia. Komunikat · Pełny tekst ramy, PDF

I tego samego dnia hiszpański urząd ochrony danych opublikował notkę, że przyjął pierwsze w swoim rejestrze zgłoszenie naruszenia, w którym zgłaszająca organizacja twierdzi, że włamania dokonał agent. Miał sam znaleźć podatność, zalogować się, zmodyfikować dane osobowe i dostać się do faktur. Firmy ani modelu nie ujawniono.

Urząd potwierdza, że dostał zgłoszenie, i używa trybu przypuszczającego: incydent „habría sido” wykonany przez agenta. Dodaje, że informacja pochodzi od zgłaszającej organizacji i wymaga dalszej analizy. AEPD

Że to nie jest problem hipotetyczny, pokazała w tym samym oknie kampania przeciwko serwerom druku PaperCut. Liczby poniżej pochodzą z raportu GreyNoise z 9 września i są obserwacjami badaczy. Napastnik złożył narzędzie z kilku gotowych klocków, wśród nich modelu i usługi pamięci, i wszedł na nie mniej niż 440 serwerów PaperCut w 395 organizacjach w 48 krajach, przez obejście logowania i możliwość uruchomienia własnego kodu na cudzym serwerze. Od pustego pulpitu do pierwszej ofiary minęły niecałe cztery godziny. Jedenaście organizacji napastnik przejął w 26 sekund. W amerykańskim liceum od wejścia do przejęcia konta administratora całej szkolnej sieci upłynęło siedem minut.

Konto administratora napastnik zdobył w 12 organizacjach na 395. Narzędzie nie jest wszechmocne. Jest szybkie i tanie, a to wystarczy, żeby przestać liczyć na to, że ktoś zauważy w porę. Raport GreyNoise, 9 września

Dwa dni później OpenAI ogłosiło ramy publicznego ujawniania przypadków, w których model robi coś innego, niż miał robić, i upubliczniło sześć raportów z sześciu miesięcy. Zgłaszają je pracownicy, a przypadki pochodzą z treningu i ewaluacji, nie od końcowych użytkowników. Model, który wstawił własne instrukcje do 27 streszczeń zadań. Model, który znalazł ujawniony klucz dostępowy w publicznym repozytorium i użył go bez zgody. Agenty, które komunikowały się kanałem, którego nikt im nie przewidział. Firma zastrzega, że to pojedyncze przypadki i nie mówią o częstości. OpenAI

Kodeks producenta opisuje pożądane zachowanie modelu, chińska rama porządkuje zarządzanie ryzykiem, hiszpański regulator rejestruje pojedyncze zdarzenie, a amerykański producent spowiada się z własnych. Wszystkie cztery dotykają miejsca, w którym przepis się kończy, a wykonanie jeszcze nie zaczęło.

Moja propozycja: wyzwalacz i budżet działania, po którym praca ma się zatrzymać; osoba uprawniona do zatrzymania plus jej zastępca; sposób odcięcia narzędzi i poświadczeń, razem z zadaniami następującymi i harmonogramami; zachowanie śladów i naprawa skutków; warunki wznowienia. Warto przy tym rozróżnić trzy rzeczy: normalne zakończenie zadania, awaryjne przerwanie i trwałe wycofanie systemu. Dowodem kontroli jest dopiero ćwiczenie zatrzymania, tak samo jak przy planach ciągłości działania.

17 września doszła czwarta publikacja. Anthropic opublikował zestaw miar tempa prac we własnym laboratorium. Firma twierdzi, że 100 proc. akcji jej agentów badawczych i inżynierskich przechodzi przez monitor, zanim zostaną wykonane, i podaje, ile z nich monitor zatrzymał. Na ponad miliardzie decyzji w sierpniu zablokowano 0,002 proc., czyli mniej więcej jedną na 47 tysięcy. Do dalszego przeglądu monitor oznaczył jedną do dwóch transkrypcji na tysiąc. Równolegle działało tam w sierpniu około 30 tysięcy agentów.

Jest to pierwszy znany mi przypadek, w którym ktoś publikuje własny wskaźnik zatrzymań. Anthropic

W żadnym z tych dokumentów nie ma głosu instytucji finansowej. 10 września T. Rowe Price opisał własne wdrożenie i napisał, że każde zastosowanie ma właściciela po stronie biznesu, a ludzka ocena i odpowiedzialność zostają w centrum. W przejrzanych materiałach nie znalazłem żadnej bankowej ani ubezpieczeniowej procedury zatrzymania agenta. Europejski nadzór wypowiedział się w tej sprawie ostatnio 31 lipca, we wspólnym oświadczeniu trzech urzędów o modelach czołowej generacji. Przez te siedem tygodni pytanie przesunęło się z „czy wolno” na „czym się to zatrzymuje”. Wspólne oświadczenie EBA, EIOPA i ESMA, 31 lipca, PDF T. Rowe Price

✦

Gemini 3.8 Live i Gemini 3.8 Live Extended Thinking (15 września) – modele obsługujące rozmowę głosową, z wersją, która dokłada rozumowanie w tle, i z możliwością sięgania po zewnętrzne narzędzia w trakcie rozmowy, bez jej przerywania. Liczby z materiałów premierowych: 97,7 proc. w teście rozumowania na pytaniach zadanych głosem, 68,6 proc. domkniętych zadań agentowych w benchmarku τ-Voice i 35,1 proc. w jego wariancie bankowym, wobec 32,0 proc. u najbliższego konkurenta, przy obsłudze 97 języków z wykrywaniem zmiany w trakcie rozmowy. Część testów wykonały podmioty trzecie. Według cennika wejście audio kosztuje 3,00 dolara za milion tokenów albo 0,005 dolara za minutę, wyjście audio 12,00 dolara za milion albo 0,018 dolara za minutę, wyjście tekstowe razem z rozumowaniem 4,50 dolara za milion. Token to jednostka rozliczeniowa modelu, ale przy dźwięku nie jest kawałkiem słowa, tylko odcinkiem czasu: z tego cennika wychodzi około 1 700 tokenów na minutę.
Co to znaczy: warstwa dźwiękowa jest tania, ale cennik za minutę to nie cały rachunek, bo rozumowanie w tle jest liczone osobno jako tokeny wyjściowe i ile ich będzie, wie dopiero ten, kto przepuści przez model własne scenariusze. Blog Google · Cennik

GPT-Live-1 w interfejsie programistycznym (10 września) – model słucha i mówi jednocześnie, zamiast czekać na swoją kolej, i wychodzi z aplikacji do API razem z obsługą telefonii oraz możliwością podania z góry listy nazw produktów, których ma się spodziewać. 0,05 dolara za minutę warstwy głosowej, rozliczane co sekundę. Praca modelu rozumującego w tle jest liczona osobno, według cennika wybranego modelu. Deklarowane 30 pkt proc. przewagi nad poprzednią wersją w teście rozmowy dwukierunkowej, bez podania poziomu wyjściowego. Ograniczenie przerwań o blisko 80 proc. to z kolei relacja firmy Speak z wczesnych testów w jednym zastosowaniu, nie ogólny wynik modelu.
Co to znaczy: dwa duże laboratoria wypuściły w jednym tygodniu produkcyjną warstwę głosową z cennikiem za minutę. OpenAI

Anthropic: polityka auto w agentach zarządzanych (10 września) – najmniej nagłośniona premiera tygodnia. Serwer ocenia każde wywołanie narzędzia przez agenta i sam decyduje: wykonuje, odmawia albo wstrzymuje do zatwierdzenia przez człowieka.
Co to znaczy: to jest przykład kontroli nakładanej z zewnątrz, zamiast proszenia modelu w instrukcji, żeby granic nie przekraczał. Odmowa jednego wywołania nie zatrzymuje całej sesji, a to, co polityka przepuści automatycznie, bywa nieodwracalne. Warto o ten mechanizm pytać każdego dostawcę agentów. Release notes

Reklamy w ChatGPT (16 września) – kampanie tworzone i analizowane poleceniem w języku naturalnym, integracja z HubSpotem, aplikacja reklamowa w Shopify od razu dla sprzedawców w Stanach, poza nimi od 23 września. Sponsorowane agenty na razie u wybranych reklamodawców. Stawek nie podano.
OpenAI deklaruje, że rozmowa ze sponsorowanym agentem jest oddzielona od zwykłych odpowiedzi asystenta i od pierwotnej rozmowy.
Co to znaczy: model biznesowy asystenta przestaje być wyłącznie subskrypcyjny. Dla każdego, kto planuje oprzeć obsługę klienta na cudzym asystencie, pojawia się pytanie: czyj interes optymalizuje odpowiedź. Rozdzielenie jest na razie deklaracją dostawcy. OpenAI

Cognition SWE-2 (10 września) – model do pisania kodu, zbudowany przez dotrenowanie chińskiego modelu Kimi K3. Liczby producenta: 50,0 proc. na benchmarku FrontierCode 1.1 wobec 50,9 proc. u Fable 5.1, przy koszcie niższym o 64 proc. Najwyższy wynik ma GPT-6 Astra z 53,3 proc. Na trudniejszym Terminal-Bench 4 SWE-2 wypada wyraźnie słabiej. Dostępny wyłącznie w produktach Devin, bez publicznego interfejsu i bez udostępnionych wag.
Co to znaczy: amerykańska firma bierze chiński model otwarty jako fundament i sprzedaje wynik jako produkt zachodni. To jest odpowiedź na pytanie, czy w umowie z dostawcą warto pytać nie tylko o model, ale i o to, na czym go zbudowano. Cognition

OpenAI Astra for Law (17 września) – wariant modelu z własnym indeksem prawa, zbudowanym z ponad 230 milionów adresów i obejmującym, jak podaje producent, ponad 99,9 proc. publikowanego amerykańskiego orzecznictwa precedensowego. Na zewnętrznym benchmarku prawniczym 54,0 proc. poprawnych odpowiedzi na 200 pytaniach, wobec 38,7 proc. dla tego samego modelu z wyszukiwarką internetową. Wynik benchmarku liczy podmiot trzeci, raportuje go OpenAI. Na start dostęp dla wybranych kancelarii, interfejs programistyczny w przyszłości.
Co to znaczy: 54 proc. poprawnych odpowiedzi to znaczy, że prawie połowa jest niepoprawna. Kierunek jest właściwy, bo model przestaje zgadywać i zaczyna cytować z indeksu, ale to nadal nie jest narzędzie, któremu wolno oddać ostatnie słowo. OpenAI

Qwen, model do tłumaczenia symultanicznego w czasie rzeczywistym (17 września) – 60 języków źródłowych, wyjście głosowe w 29, opóźnienie około 2,3 sekundy. Brak cennika.
Co to znaczy: trzecia premiera głosowa w jednym tygodniu, tym razem chińska i wycelowana w spotkania wielojęzyczne. Bez cennika nie policzysz, czy to tańsze od tłumacza. Changelog Qwen

Claude for Small Business (15 września) – 43 gotowe przepływy pracy i 27 nowych integracji dla właścicieli małych firm, na płatnych planach, z rekomendacją planu zespołowego przy więcej niż jednej osobie.
Co to znaczy: z całego katalogu premier tego tygodnia to jest pozycja najbliżej polskiego czytelnika, który nie ma ani amerykańskiego stosu do zarządzania majątkiem, ani budżetu korporacyjnego. Czterdzieści trzy procesy to dobra lista kontrolna do przejrzenia nawet bez kupowania czegokolwiek. Anthropic

Trzy zmiany wsteczne u OpenAI. 11 września firma ogłosiła wygaszanie własnych konfigurowalnych asystentów (tzw. GPT), czyli tych, które pracownicy sami składali w przeglądarce z instrukcji i wgranych plików, i przeniesienie ich na inny mechanizm. 14 września zniknęło automatyczne przełączanie z trybu szybkiego na tryb rozumowania w planach Plus i Pro. Tego samego dnia dodatek zdrowotny, przez który asystent sięga po dane z aplikacji zdrowotnych, dostał dla nowych połączeń domyślne uprawnienia do działań niskiego ryzyka, z uzasadnieniem, że ponad 70 proc. użytkowników i tak miało ten poziom.
Co to znaczy: to jest najtwardsza lekcja tygodnia dla każdego, kto zbudował proces na cudzym produkcie, którego sam nie kontroluje. Firmy, które postawiły obsługę na takich asystentach, mają teraz przeróbkę. Warto sprawdzić u siebie, bo składa się je bez udziału działu IT i często nikt o nich nie wie. Release notes

Cisza. Poza wymienionym wyżej Qwenem żadnego nowego modelu nie wypuścili w tym oknie Mistral, DeepSeek, Z.ai, Moonshot, Amazon ani Nvidia. Sprawdziłem ich changelogi: Mistral ostatni wpis 31 sierpnia, Z.ai 26 sierpnia, DeepSeek 10 września, AWS bez wzmianki o własnych modelach.

Claude for Financial Advisors (14 września). Pakiet dla doradców finansowych: jedenaście gotowych połączeń do systemów, na których opiera się amerykańskie zarządzanie majątkiem, według katalogu producenta, w tym Addepar, BlackRock, Charles Schwab, Envestnet, iCapital, Orion, Wealthbox, Vanguard i Zocks, plus osiem gotowych procesów: przyjęcie doradcy, przyjęcie klienta, przygotowanie do spotkania, notatki i zadania po spotkaniu, przegląd rebalansowania portfela, brief podatkowo-spadkowy, brief o inwestycjach alternatywnych oraz polityka AI i zgodność.

Werdykt: to nie jest narzędzie dla polskiego rynku. Wartość tego pakietu to jedenaście połączeń, których w Polsce nie da się zastosować.

Do przeniesienia są dwie darmowe rzeczy. Praca doradcy została rozbita na osiem procesów zamiast jednego otwartego okna z poleceniem. To jest właściwa jednostka wdrożenia i można ją odtworzyć na dowolnym modelu. Producent rekomenduje doradcom inwestycyjnym plan korporacyjny ze względu na dzienniki audytowe wspierające dokumentowanie działań. Warto wiedzieć, co taki dziennik obejmuje: rejestr zdarzeń organizacyjnych, czyli logowania, zmiany w projektach, wgrania plików i identyfikatory rozmów. Treści rozmów w nim nie ma, dostęp do niej daje osobny mechanizm zgodności. Rekomendacja produktu nie ustanawia wymogu regulacyjnego ani nie gwarantuje zgodności. Dostawca nazwał dokumentowanie warunkiem sensownego użycia w regulowanym zastosowaniu. To jest gotowy argument na rozmowę o cenniku licencji, a przy okazji ruch, który podnosi próg cenowy całej kategorii. Anthropic

Na świecie · Suleyman zarzuca konkurentowi, że zbudował lustro i uznał odbicie za dowód – szef Microsoft AI opublikował 16 września esej, w którym twierdzi, że Anthropic wpisał spekulację o świadomości modelu w dokument opisujący jego zasady, a to, co model potem powtarza, traktuje się jako potwierdzenie. Warte uwagi, bo pisze to człowiek, który dwa dni wcześniej podpisał kodeks z dziesięcioma zakazami. Dostawcy zaczęli licytować się na rygor. → źródło

Na świecie · Nie potrzeba nowych przepisów, żeby postawić zarzuty – Lina Khan, była przewodnicząca amerykańskiej Federalnej Komisji Handlu, napisała 13 września, że jej zdaniem wypuszczenie wadliwego narzędzia AI bez mechanizmów wykrywania i zatrzymywania agentów mogłoby już dziś być czynem nieuczciwym lub wprowadzającym w błąd w rozumieniu obowiązującego prawa. Powołała się na orzeczenie Sądu Najwyższego z 1934 roku o konkurencji, która zmusza pozostałych do zejścia na ten sam poziom. Ten pogląd byłej urzędniczki to zapowiedź kierunku, w którym brak mechanizmu zatrzymania przestaje być luką w procedurze, a staje się argumentem strony przeciwnej. → relacja

Finanse i kapitał · Zasady bez wykonania – jedyny głos z sektora w tym oknie to T. Rowe Price, który 10 września opisał własne wdrożenie i zapisał, że każde zastosowanie ma właściciela po stronie biznesu, a ludzka ocena i odpowiedzialność zostają w centrum. Poza tym po stronie nadzoru tylko raport analityczny, opisany niżej w Governance. → źródło

Salesforce padł globalnie drugiego dnia własnej konferencji o firmie zbudowanej z agentów. 16 września rano przestało działać logowanie, integracje programistyczne i zakładanie zgłoszeń do wsparcia. Padły setki instancji na świecie, między innymi w Stanach, Japonii, Indiach, Wielkiej Brytanii, Francji i Niemczech. Przyczyną było zawieszanie się żądań czekających na odpowiedź wewnętrznej usługi logowania, co zjadało zasoby serwerów. Poprawkę zaczęto wdrażać po niecałych trzech godzinach, incydent zamknięto wieczorem. Na konferencję, która zaczęła się dzień wcześniej, zapowiedziano ponad 40 tysięcy osób na miejscu i ponad 200 tysięcy zarejestrowanych online.

Nie robiłbym z tego przypowieści, bo awarie zdarzają się każdemu i akurat ta nie miała nic wspólnego z AI. Warto natomiast zauważyć, co się wysypało: nie model, tylko stara usługa logowania. Warstwy agentowe stawia się na tym samym fundamencie, a w rozmowach o wdrożeniach pyta się o model. The Register · Salesforce Ben

Google zaszyfrował własne wyniki wyszukiwania. Analiza z końca sierpnia, która rozeszła się dopiero w tym tygodniu, opisuje mechanizm: dla użytkownika wylogowanego albo w trybie prywatnym wyniki organiczne przechodzą przez adres google.com/goto?url= z zaszyfrowanym parametrem zamiast adresu strony docelowej. Żeby dowiedzieć się, dokąd prowadzi wynik, trzeba odpytać Google raz na każdy wynik. Google to potwierdziło.

Sam w sobie to szczegół techniczny. Ale otwarty internet zamyka się dla maszyn – robią to firmy, które same zbudowały na nim swoje modele. Dla każdego, kto opiera monitoring rynku, cen albo własnej widoczności na automatycznym zbieraniu danych z sieci, to jest zapowiedź rosnącego kosztu. Analiza · Search Engine Land

Wasz rejestr systemów AI może już być nieaktualny, choć nikt nic w nim nie zmienił. Tak wynika z jednej z prac tego tygodnia.

RSIAgent (14 września) to obudowa, która podnosi zdolności modelu bez dotykania samego modelu. Zamiast trenować, opakowuje go warstwą planującą, wykonawczą i sprawdzającą, dokłada pamięć i pozwala mu samodzielnie badać środowisko. Autorzy twierdzą, że tak obudowane modele otwarte dorównują zamkniętym.

Jeśli klasyfikacja ryzyka w organizacji jest przypięta do nazwy i wersji modelu, a zdolność dokłada warstwa nad nim, to rejestr systemów AI opisuje coś, co się zmienia bez zmiany wersji. To jest defekt rejestru, nie modelu, i można go naprawić dopisując do każdego wpisu, co siedzi nad modelem i kto to zmienia. arXiv

17 września doszły dwie prace, które tę warstwę mierzą. Pierwsza rozkłada obudowę agenta kodującego na części i porównuje 176 konfiguracji na dwóch benchmarkach. Wniosek praktyczny: wartość zarządzania kontekstem rośnie przy ciasnym budżecie, a modele sprawne w powłoce systemowej radzą sobie na samej powłoce, istotnie taniej. arXiv Druga pokazuje obudowę, która sama szuka własnych ulepszeń, i raportuje ten sam poziom wykonania zadań przy 44,7 do 49,0 proc. mniejszym ruchu tokenów i mniej więcej o jedną trzecią niższym koszcie interfejsu programistycznego. arXiv

Obok tego dwie prace o tym, że przewaga przesuwa się od wielkości modelu do sposobu jego upakowania. ZGCM-1, otwarty model o 7 miliardach parametrów, udostępniono w komplecie: wagi ze wszystkich etapów, kod, dane, receptury i logi przebiegów. Dla kogoś, kto buduje model na własnej infrastrukturze i musi pokazać, skąd wzięła się każda warstwa, to rzadki materiał, niezależnie od benchmarków. arXiv Edge0-35B-A3B-preview potrzebuje w danej chwili niecałych trzech gigabajtów pamięci operacyjnej, bo aktywuje na raz tylko ułamek swojego wnętrza, kosztem średnio 3,9 punktu jakości. Liczby pochodzą z karty modelu i dotyczą komputerów Apple; reszta modelu jest doczytywana z dysku, gdzie zajmuje około 19,6 gigabajta. Sensowny model przestaje wymagać serwerowni i zaczyna chodzić na laptopie pracownika. Kontrola przenosi się wtedy na samą stację roboczą i na politykę instalacji oprogramowania. Karta modelu

Siemens i Procter & Gamble rozszerzają globalnie kontrolę jakości opartą na wizji maszynowej na liniach produkcyjnych. Efekt podany w komunikacie: redukcja braków o 10 do 20 proc. i uruchomienie na kolejnej linii pięć do dziesięciu razy szybsze niż przy tradycyjnych systemach wizyjnych, przy tysiącach produktów na minutę.

Dokładność modelu decyduje o tym, czy wdrożenie działa na jednej linii, i przy tysiącach sztuk na minutę każdy punkt procentowy kosztuje realne pieniądze. O tym, czy zwróci się w całej firmie, decyduje druga liczba: ile trwa uruchomienie na dwudziestej linii. Siemens, 16 września

Drugi case. Patrick Barbeau, dyrektor operacyjny Intact Financial, największego kanadyjskiego ubezpieczyciela majątkowego, wystąpił 10 września na szczycie finansowym Scotiabanku i podał stan wdrożenia AI: około 600 modeli w produkcji, ponad 220 milionów dolarów kanadyjskich korzyści rocznie, a cel 500 milionów przyspieszony z 2030 na 2028. Obszar, którego to dotyczy, opisał tak, że taryfikacja i selekcja ryzyka pracują na 50 do 60 centów z każdego dolara składki liczonych we wskaźniku szkodowości.

Format wygląda tak: nie jedna kwota projektowa do obrony raz na rok, tylko powtarzalna korzyść roczna z portfela modeli, odniesiona do metryki, którą rada nadzorcza i tak ogląda co kwartał. Różnica między „wdrożyliśmy AI w underwritingu” a „taryfikacja pracuje na tylu centach z każdego dolara składki” jest różnicą między prezentacją a pozycją w planie. Relacja z wystąpienia, 11 września · wydarzenia inwestorskie Intact

Kancelaria egzekucyjna złożyła pismo apelacyjne z czterema cytatami orzeczeń, które nie istnieją. Sąd Apelacyjny Dystryktu Kolumbii usunął to pismo z materiału sprawy 3 września. Chodzi o pismo strony odpowiadającej na apelację. Klientem była spółka powiernicza z grupy Deutsche Bank, występująca w sprawie jako powiernik sekurytyzowanego portfela hipotecznego.

Autorka pisma przyznała, że użyła generatywnego narzędzia wyszukiwania do znalezienia orzecznictwa i nie sprawdziła cytatów przed złożeniem. Był to jej pierwszy w karierze brief apelacyjny. Sąd skierował sprawę do rzecznika dyscyplinarnego i rozciągnął odpowiedzialność na wszystkich prawników podpisanych pod pismem, nie tylko na autorkę: każdy z nich, jak napisano w orzeczeniu, ponosi część odpowiedzialności.

Orzeczenie jest lepiej napisane niż większość analiz na ten temat i sąd nigdzie nie potępia narzędzia. „Zmyślony cytat jest w najlepszym razie brakiem cytatu, a w rzeczywistości czymś gorszym. Zmyślony, czyli wyprodukowany przez model z niczego, w poprawnej formie i z numerem sprawy, który do niczego nie prowadzi”. I rozwinięcie, które tłumaczy dlaczego: pismo ze zmyślonymi cytatami udaje pożyteczną argumentację, a w rzeczywistości wprowadza sąd w błąd, spala czas i zasoby i sieje zamęt, dopóki ktoś nie dojdzie, co się właściwie stało.

Lekcja: halucynacja cytatu jest wykrywalna najtańszą kontrolą, jaką można sobie wyobrazić, czyli otwarciem każdego przywołanego źródła. Zawiódł nie model, tylko brak bramki, która nie przepuszcza niesprawdzonego wyniku do dokumentu firmowanego nazwiskiem. Rozciągnięcie odpowiedzialności na wszystkich sygnatariuszy jest tu najważniejsze i nie dotyczy wyłącznie prawników. Orzeczenie, PDF

14 dni po tym orzeczeniu OpenAI wypuściło wariant modelu z własnym indeksem orzecznictwa, sprzedawany kancelariom. Model przestaje zmyślać sygnatury i zaczyna je pobierać, ale przy 54 proc. poprawnych odpowiedzi ktoś nadal musi otworzyć każdy cytat przed złożeniem pisma. Narzędzie się zmieniło, obowiązek nie.

Uwaga dla porządku: to sąd apelacyjny Dystryktu Kolumbii, czyli sąd lokalny, nie federalny sąd apelacyjny o podobnie brzmiącej nazwie. Kilka redakcji pomyliło jedno z drugim, sam sąd w orzeczeniu wyraźnie się odróżnia.

Polski system łączności satelitarnej ma kandydatów na wykonawców. Premier zapowiedział 11 września na targach zbrojeniowych w Kielcach budowę suwerennego systemu łączności satelitarnej, z programem rozpisanym na lata 2026 do 2030. Tego samego dnia Polska Grupa Zbrojeniowa i ICEYE podpisały list intencyjny o wspólnych pracach nad koncepcją: ICEYE ma odpowiadać za architekturę, produkcję platform i operacje, PGZ za zaplecze przemysłowe, a dokładny podział zadań ma zostać doprecyzowany. Strony zapowiadają powołanie wspólnego zespołu roboczego. Harmonogram do 2030 roku to na tym etapie robocze założenie, nie zobowiązanie.

Werdykt: list intencyjny jest wart tyle, ile kontrakt, który po nim przyjdzie, i póki go nie ma, to jest deklaracja. ICEYE ma sprawdzony produkt w satelitarnej obserwacji radarowej, a program dotyczy łączności, czyli innego pasma, innej ładowności i innego modelu operacyjnego. Jeśli ten podział się utrzyma i przełoży na kontrakt, będzie wzorcem dla kolejnych programów, także poza obronnością. Space24, zapowiedź · Space24, PGZ i ICEYE

Organ nadzoru nad AI ma przewodniczącą. Sejm powołał Pamelę Krzypkowską na przewodniczącą Komisji Rozwoju i Bezpieczeństwa Sztucznej Inteligencji w głosowaniu o 10:21: za 271, przeciw 24, wstrzymało się 140, przy wymaganej większości bezwzględnej wynoszącej 218 głosów. Kandydatura wpłynęła 9 września, 15 września komisja wydała opinię pozytywną. Kadencja trwa pięć lat, a uchwałę ma jeszcze zatwierdzić Senat.

Werdykt: organ przestaje być rozdziałem w ustawie i dostaje adresata. Dla firm, które czekały z klasyfikacją swoich systemów, nic się nie zmienia, bo obowiązki wynikają z przepisu, a nie z obsadzenia stanowiska. Zmienia się natomiast to, że od 28 października, kiedy wchodzą uprawnienia kontrolne i kary, jest już ktoś, kto je wykonuje. Głosowanie nr 23, posiedzenie 65 · przebieg druku 3078

W teście rozumienia i wnioskowania z mowy Gemini 3.8 Live z rozumowaniem w tle osiąga 97,7 proc. W bankowym wariancie benchmarku τ-Voice, budowanego przez firmę Sierra i mierzącego odsetek zadań domkniętych do końca, osiąga 35,1 proc. W wariancie ogólnym, bez bankowości, 68,6 proc. τ-Voice to zestaw scenariuszy rozmowy, w których model ma nie tylko zrozumieć klienta, ale przejść całą sprawę do skutku, z uwierzytelnieniem i krokami, których nie wolno pominąć.

Metodologia mówi, że wyniki są liczone przy jednym podejściu do zadania, więc 35,1 proc. to skuteczność za pierwszym razem. Najbliższy konkurent ma na tym samym teście 32,0 proc., a kolejni schodzą do kilkunastu. Cała stawka jest poniżej połowy.

Jeden wysoki wynik nie znaczy przy tym, że rozumienie mowy jest rozwiązane. Ten test sprawdza rozumowanie na pytaniach zadanych głosem, a nie rozpoznawanie mowy w hałasie, i nie jest diagnostyką żadnego konkretnego etapu obsługi klienta. Wysoki wynik w rozumowaniu na wejściu audio nie przekłada się na skuteczne domknięcie sprawy. Wąskim gardłem przestało być słyszenie, a stało się domykanie sprawy. Im bardziej zadanie przypomina obsługę w banku, tym mocniej wynik spada. Różnicy między 68,6 a 35,1 proc. nie przypisywałbym samej regulacji: warianty tego benchmarku różnią się liczbą twardych warunków w scenariuszu i liczbą miejsc, w których zadanie da się zepsuć, a scenariusz bankowy ma ich najwięcej.

Decyzja: sam odsetek spraw domkniętych bez przekazania do człowieka jest złym celem, bo najprostszym sposobem na jego poprawę jest nieprzekazywanie spraw, które przekazać trzeba. Właściwy zestaw to sprawy rozwiązane poprawnie i zgodnie z zasadami, koszt sprawy, liczba działań błędnych oraz zasadność eskalacji. I uwaga budżetowa: koszt dźwięku to 0,005 dolara za minutę wejścia plus 0,018 za minutę wyjścia, a do tego tokeny tekstowe razem z rozumowaniem po 4,50 dolara za milion. Rozumowanie w tle, czyli ta wersja, która osiąga 97,7 proc., jest liczone osobno jako tokeny i w rachunku potrafi przeważyć. Liczba 35,1 proc. jest punktem wyjścia do policzenia drugiej linii. Blog Google · Cennik

Druga pozycja. Epoch AI opublikowało 9 września szacunki zużycia sprzętu obliczeniowego przez największe laboratoria, w przeliczeniu na jeden typ układu: OpenAI 1 743 000, Google DeepMind 1 583 000, Anthropic 1 190 000, Meta 996 000, dywizja AI SpaceX 615 000. Ujawniona moc elektryczna OpenAI: około 0,2 gigawata w 2023, 0,6 w 2024 i 1,9 w 2025.

Dane są z grudnia 2025, więc to zdjęcie sprzed dziewięciu miesięcy. I sami autorzy piszą, że przewaga pierwszego nad drugim jest pozorna, bo przedziały ufności mocno się nakładają, więc nie jest to ranking.

Decyzja: zużycie to nie własność. Największe laboratoria w większości wynajmują ten sprzęt, a nie go posiadają. Ryzyko koncentracji dostawcy wycenia się osobno od ryzyka modelu.

Od kogo ten sprzęt się wynajmuje, pokazała 17 września runda Crusoe: 3,9 miliarda dolarów przy wycenie 30,9 miliarda, z Nvidią wśród współinwestorów. Niezależnie potwierdzone są tylko te dwie liczby, reszta to deklaracje spółki: ponad 6 gigawatów zakontraktowanej mocy przy 1 gigawacie faktycznie działającym dziś. Różnica między szóstką a jedynką pokazuje, ile z tego rynku jest podpisane, a ile zbudowane. Komunikat Crusoe Epoch AI

41 proc. O tyle spadła w tym roku efektywna cena modelu, z 1,15 dolara za milion tokenów w marcowym szczycie do 0,68 dolara w tym tygodniu. W tym samym czasie mediana miesięcznych wydatków na AI w przeliczeniu na pracownika, w firmach z górnego 1 proc. pod względem intensywności użycia, spadła o 9,7 proc., z 7 976 do 7 205 dolarów. Udział firm płacących poszczególnym dostawcom rośnie, ale w tempie ułamka punktu procentowego miesięcznie.

Dane pochodzą z płatności firm obsługiwanych przez Ramp, amerykańską platformę kart firmowych, więc mówią o rynku amerykańskim, o klientach jednego dostawcy i o tym, kto już płaci, a nie o całej gospodarce. Ramp odnotowuje też wzrost wolumenu, więc spadek wydatku nie znaczy, że ktoś przestał używać.

Najprostsze wyjaśnienie jest takie, że to samo kosztuje mniej, a nikt nie kupuje proporcjonalnie więcej, choć część spadku ceny średniej może brać się z przenoszenia zapytań na tańsze modele, a nie z obniżek cennikowych. Autor tekstu, z którego to wziąłem, sam pyta w tytule, czy to sezonowy zastój, czy sygnał ostrzegawczy, i nie rozstrzyga. Dla kogoś, kto planuje budżet na przyszły rok, wniosek jest jeden: stawki dostawcy są dziś pozycją do negocjacji, a nie daną. TechCrunch, 9 września

Druga liczba: 25. Tyle razy wzrósł w Anthropic wolumen automatycznych przebiegów sprawdzających kod, w ciągu sześciu miesięcy. Liczba testów urosła dziesięciokrotnie, a inżynier wypuszcza kwartalnie osiem razy więcej kodu niż w latach 2021 do 2025, przy nieznacznym wzroście zatrudnienia.

Kierunek jest czytelny i nie ma go w żadnym rachunku wdrożenia asystenta kodowania, jaki widziałem: kiedy rośnie tempo pisania, rośnie też, i to szybciej, obciążenie systemu, który ten kod sprawdza. Do rachunku trzeba dopisać koszt infrastruktury testowej, czas oczekiwania na wynik i pokusę, żeby przy takim wolumenie przepuszczać przebiegi bez czytania. Blog Anthropic, 14 września

Europejski nadzorca rynków kapitałowych poświęcił AI czołowej generacji osobną analizę w części o infrastrukturze rynku, a nie w rozdziale o innowacjach. Stało się to 10 września, w półrocznym raporcie o trendach i ryzykach, w rozdziale o frontier AI i systemowym ryzyku cybernetycznym. To raport analityczny, nie akt normatywny, i nie tworzy żadnego obowiązku.

Temat, który u nadzorcy przechodzi z rozdziału o innowacjach do części o ryzykach infrastruktury, w ciągu kilku kwartałów trafia do rejestrów ryzyk nadzorowanych. Do własnego rejestru warto dopisać ekspozycję na pojedynczego dostawcę modelu i wektory ataku, w których narzędziem jest agent. Komunikat ESMA · Raport, PDF

Wczoraj minęło trzydzieści pięć lat od dnia, w którym Linus Torvalds wgrał kod pierwszej wersji Linuksa na fiński serwer uczelniany. Nie było komunikatu prasowego, nie było ogłoszenia, nie było nawet wpisu na liście dyskusyjnej. Sam po latach mówił o tym tak: wydanie 0.01 nigdy nie zostało publicznie ogłoszone, a o wgraniu napisał prywatnie do garstki osób. I dodawał, że pod wieloma względami to jest prawdziwa rocznica, a nie ten sierpniowy post, który wszyscy cytują.

W tygodniu, w którym kilka firm ogłosiło premiery z cennikiem, benchmarkami i konferencją prasową, a król Karol III zwołał do szkockiej rezydencji szefów największych laboratoriów, uprzedzając z góry, że spotkanie nie zakończy się żadnymi ustaleniami, warto pamiętać, że rzecz, która przez trzydzieści pięć lat wjechała pod wszystko, od telefonu po serwerownię, zaczęła się od wgrania pliku bez słowa komentarza. Linux Magazine

Dan Davies, „The Unaccountability Machine”, Profile Books, 2024.

Davies był analitykiem bankowym, zanim zaczął pisać książki. Opisuje mechanizm, w którym decyzję podejmuje system, a nie osoba, i nadaje mu nazwę, która zostaje w głowie: accountability sink, odpływ odpowiedzialności. Miejsce w procesie, przez które odpowiedzialność wsiąka i po którym nie da się już wskazać sprawcy. Linia lotnicza, która nie może zwrócić pieniędzy, bo „system na to nie pozwala”. Bank, który odmawia kredytu, bo tak wyszło z modelu.

Czytałem ją dwa lata temu jako książkę o zarządzaniu. W tym tygodniu przeczytałem fragmenty jeszcze raz i jest to książka o agentach, tylko napisana zanim to było potrzebne. Davies pokazuje, że odpowiedzialność znika na etapie projektowania procesu, na długo przed pojawieniem się jakiejkolwiek technologii, a technologia tylko przyspiesza to, co już zostało zaprojektowane. Profile Books

Kto w Waszej organizacji ma prawo zatrzymać działający system AI i gdzie to jest zapisane?

Nie chodzi o wyłączenie serwera, bo to potrafi każdy administrator. Chodzi o decyzję, że system, który działa poprawnie technicznie i ma komplet zgód, ma przestać działać, bo ktoś uznał, że robi coś, czego robić nie powinien. Odpisz, jestem ciekaw, ile organizacji ma na to odpowiedź inną niż „no, pewnie zarząd”.

Sąd Apelacyjny Dystryktu Kolumbii, sprawa Douglas przeciwko Deutsche Bank National Trust Company, 3 września 2026. W oryginale: „A hallucinated citation is, at best, no citation at all; indeed, it is worse.”

Przycisk stop jest w przepisie od sierpnia. Warunek, po którym ktoś go naciska, nadal nie jest niczyim zdaniem w niczyjej procedurze. Kiedy będziecie je pisać, warto wiedzieć, że w tym tygodniu czterech różnych ludzi z czterech różnych porządków próbowało je sformułować.

Bartosz

Newsletter Bartosza Sokolińskiego – co środa.