Etyczne samochody i bezduszne androidy

W dyskusjach o sztucznej inteligencji i w szczególności o autonomicznych pojazdach wypączkował bardzo temat dylematów etycznych. Słusznie, ale sposób w jaki stawiana jest ta kwestia jest przedziwny. A jeżeli nie przedziwny to conajmniej poplątany – parę zupełnie różnych dylematów łączy się w jakąś nibyspójną całość.

Przyjrzyjmy się dokładniej przykładowi, jaki zwykle pojawia się w tych rozważaniach, czyli że samochód musi podjąć decyzję o tym kogo zabić i kogo oszczędzić w ekstremalnej sytuacji. Samochód wybiera rozwiązanie na podstawie dostępnych informacji i algorytmu, więc zacznijmy się od uwolnienia od manipulacji numer jeden – że samochód podejmuje decyzje. Otóż nie podejmuje, tylko wykonuje napisany wcześniej program, w którym decyzje zawarł programista. Teraz czas na drugą manipulację – że to programista podejmuje decyzję, za nas ludzi (a wiadomo, programista to stworzenie dzikie i aspołeczne). Programista koduje tylko specyfikację stworzoną przez producenta samochodu. Specyfikację rozwiązywania tego typu dylematów można w wyniku badań empirycznych i dyskusji multidyscyplinarnych – zresztą tak właśnie się dzieje. Daje nam to pewną możliwość, której wcześniej nigdy nie mieliśmy – możemy stworzyć swego rodzaju kodeks etyczny wyborów i zbudować maszynę, która zawsze będzie reagowała zgodnie z kodeksem. Dla pluralizmu mogą istnieć nawet 4 albo 8 takich kodeksów, zgodnych z różnymi filozofiami – np. kodeks liberalny, konserwatywny, socjalistyczny itp. Istnieje więc szansa że samochód będzie lepszym człowiekiem niż my sami, którzy jak doświadczenie pokazuje w sytuacjach ekstremalnych najczęściej porzucamy moralność.

Bo tak naprawdę nie podoba nam się coś innego. Nie podoba nam się samochód zaprogramowany utylitarnie, który może nas zabić. Oczywiśce podoba nam się idea samochodów utylitarnych moralnie i kalkulujących straty społeczne, ale tylko wówczas, gdy sami w takim samochodzie nie siedzimy – wówczas wolelibyśmy samochód, który ochroni nas – bo za niego zapłaciliśmy, bo jest nasz, bo ma NAM służyć a nie komuś innemu, czy tam społeczeństwu. I to jest rzeczywisty dylemat. Tylko zupełnie nie etyczny, a bardziej pierwotny i też rynkowy (większość nie kupi samochodu, który może nas poświęcić dla wyższego dobra). W badaniach wychodzi, że popieramy w większości ideę samochodu utylitarnego etycznie, ale w większości przeciwni jesteśmy narzuceniu obowiązku takiej utylitarności przez prawo. To pokazuje idealnie nasze etyczne rozdwojenie jaźni. Pokazuje też, że przeszkodą we wdrożeniu autonomicznych samochodów nie jest nasza etyka, jak próbuje się to tłumaczyć, tylko egoizm.

Odpowiedzialność za ofiary i decyzje autonomicznych samochodów bierze producent. Samochód to wciąż tylko maszyna, wyprodukowana przez kogoś, maszyny z uwagi na swoje wady techniczne na pewno zabijają dziś wielu ludzi i nie widzimy w tym moralnego dylematu. Sztuczna inteligencja i autonomiczność nie są w tym przypadku niczym szczególnym i niczego w tej relacji nie zmieniają.

Kwestia sztucznych inteligencji, które mają uczucia jest ciekawsza, ale też wymaga trochę rozebrania na części pierwsze. Uczucia to nie jest dobre kryterium. W maszynie można zaprogramować stany emocjonalne i ten trend już powoli się uwidacznia. Nie będą to jednak rzeczywiste stany i przede wszystkim nie będą to stany szkodliwe dla samej maszyny. Sami dbamy o uczucia bo psują albo naprawiają nas od środka. Taka nasza wada fabryczna. Maszyny będą w stanie świetnie udawać człowieka, z jego uczuciami i zdolnościami, i to wszystko bez posiadania jakiejkolwiek, szczątkowej nawet świadomości. Dopiero kiedy ta samoświadomość się pojawi, być może samoistnie jako efekt typu ’emerging complexity’, pojawią się rzeczywiste dylematy moralne. Tyle, że nie wiemy na pewno czy się pojawi i nie wiemy zupełnie kiedy się pojawi.

 

O autorze wpisu:

26 Odpowiedź na “Etyczne samochody i bezduszne androidy”

  1. cytat: „Samochód wybiera rozwiązanie na podstawie dostępnych informacji i algorytmu, więc zacznijmy się od uwolnienia od manipulacji numer jeden – że samochód podejmuje decyzje. Otóż nie podejmuje, tylko wykonuje napisany wcześniej program, w którym decyzje zawarł programista. ”
    .
    Nie tak działa sztuczna inteligencja. Sztuczna inteligencja to jest jest taki algorytm jak sortowanie czy całkowanie numeryczne. Sztuczna inteligencja polega na czymś troszkę innym. A mianowicie na zdolności do generalizacji. Oznacza to, że maszyna jest w stanie udzielić prawidłowej odpowiedzi na pytanie, którego nikt nigdy jej nie zadał. Zatem nie ma tutaj sytuacji, że programista oprogramowuje wszystkie możliwości. Jest inaczej, mamy dane uczące, na podstawie których sztuczna inteligencja tworzy swego rodzaju „bazę wiedzy” — wewnętrzną reprezentację wiedzy. Korzystając z tej bazy wiedzy jest w stanie prawidłowo reagować w sytuacji, w których znajdzie się pierwszy raz w „życiu”. Sztandarowy przykład: uczymy sztuczną sieć neuronową rozpoznawania pisanych ręcznie liter. A następnie pokazujemy jej litery, których wcześniej nie „widziała”, np. pisane tą samą ręką, ale w pośpiechu, w zmęczeniu, przerywającym długopisem, z atramentowym kleksem.

    1. Muszę samego siebie poprawić. Zamiast „Sztuczna inteligencja to jest jest taki algorytm jak sortowanie czy całkowanie numeryczne.” powinno być „Sztuczna inteligencja to NIE jest taki algorytm jak sortowanie czy całkowanie numeryczne.”

    2. Ale sztuczna inteligencja a automat to to samo?. Auto pilot to zaledwie funkcja jeżeli > to. Od dekad dysponujemy środkami technicznymi, umożliwiającymi zbudowanie takiego samochodu – nie w stu procentach bo kwestia „odpytania” czy obiekt jest dzieckiem czy starcem jest możliwa dopiero teraz. Wbrew pozorom nie koniecznie musi chodzić o analizę obrazu, wystarczy, że pacjent ma przy sobie facebuka albo inny wynalazek. Taki samochód w trybie roboczym nie wymaga inteligencji. To jest kawałek zwykłego automatu.

      1. Autonomiczne pojazdy to sprawa dużo skomplikowańsza niż autopilot. Autopilot ma informacje z mierników (czujników) i na podstawie reguł JEŻELI-TO i kilku wzorów dobiera siłę ciągu, przechylenie, prędkość itd. Autopilot jest stosowany w samolotach od dekad. Tak działa w samochodzie np. automatyczne ssanie. Nie trzeba wyciągać ssania i pilnować, żeby nie zalać silnika. Automat robi to za nas na podstawie danych z czujników dobiera odpowiedni skład mieszanki doprowadzonej do wtryskiwaczy. Autonomiczny pojazd musi np. potrafić odczytać znaki drogowe. No chyba, że przerobimy wszystkie znaki na znaki aktywne komunikujące się z samochodami. Na to się nie zanosi i dlatego buduje się systemy rozpoznawania znaków takich, jakie stoją na ulicy. Problemów jest tu co nie miara. Rozpoczynając od tego, że trzeba w ogóle wykryć znak w obrazie z kamery (co nie jest wcale proste), dalej trzeba ten znak rozpoznać. Znak może być źle oświetlony, brudny, zaśnieżony, widoczny częściowo, uszkodzony, obrócony, przekrzywiony, nietypowy (np. starego typu lub niepoprawny, w negatywie — co jest ostatnio modne) itd. My sobie z tym radzimy bez problemów. Nie wspominając już o tym, że oprócz znaków są często tabliczki w stylu „dotyczy” lub „nie dotyczy” albo jakieś fikuśne „tylko w celu przeprawy przez Pisię Gągolinę”.

        1. Nie. „działanie” zgodnie ze znakami to jest funkcja jeżeli > to. Zorro nigdy nie był w nowoczesnej fabryce, ale na pewno potrafi przy kasie w markecie gapić się, jak pani ekspedientka skanuje kody kreskowe i z tego gapienia nie wiele płynie. Otóż na tym to polega i wiem o czym mówię i nie potrzebujemy inteligencji żeby auto czytało znaki i rozjeżdżało starców, brało na stopa dziewczyny i robiło przerwy na kawę i e-papierosa

          1. Nie o to chodzi. Gdy już znak jest rozpoznany (zeskanowany), to wiemy, co robić. Ale chodzi o sam proces wyłuskania znaku z obrazu i jego rozpoznania (tzn. przypisania, np. wykryto znak A-23). Wykrywanie i interpretacja znaków drogowych jest na etapie badawczym i nawet w najlepszych ośrodkach nie wyszło poza fazę prototypową (np. w ośrodkach akademickich współpracujących z BMW). Nie mówię tu oczywiście o zabawce-gadżecie, którą można spotkać w niektórych modelach, że na desce rozdzielczej wyświetla się wykryty znak. Najwyżej zostanie wyświetlony błędny znak i tyle. W samochodach autonomicznych jest to niedopuszczalne.

          2. Jest dopiero na etapie prototypowania bo:
            1. Do tej pory na rynku nie bylo zapotrzebowania na takie pojazdy więc się nikt konkretnie tym nie zajmował.
            2. Prototypowanie zawsze trwa długo . Jakieś 5 razy dłużej niż sie może wydawać ludziom postronnym i przeważnie 2 razy dłużej niż specjaliści sobie zakładają.

          3. DAREKPIOTREK: ” Do tej pory na rynku nie bylo zapotrzebowania na takie pojazdy więc się nikt konkretnie tym nie zajmował.”
            .
            Proszę sobie zerknąć np. na IEEE i sprawdzić ostatnie 20 lat, a przekona się Pan, że mnóstwo ludzi się tym problemem zajmuje.

          4. Pracują nad tym, ale głównie amatorzy, marzyciele, studenci na algorytm na rozpoznawanie twarzy zawzięci. Poza tym nieliczni profesjonaliści ale to ma swoją specyfikę .. Gdyby Pan popracował z typowym działem planowania to by pan wiedział co to znaczy budować i jakie się przyjmuje strategie wydawania pieniędzy, zwłaszcza jeśli wydaje się nie swoje. A takie auto bez kierowcy? Jak do tej pory nikt tego nie chce. Każdy marzy o czerwonym Ferrari a nie o kontenerze zaprogramowanym na rozjechanie sąsiada – bo najstarszy w kamienicy.

        2. „Znak może być źle oświetlony, brudny, zaśnieżony, widoczny częściowo, uszkodzony, obrócony, przekrzywiony, nietypowy” Jeżeli znak jest źle oświetlony to zwolnij i doświetl go.

          1. To naprawdę nie jest takie proste. Naprawdę. Reguła „jeżeli znak jest źle oświetlony, to zwolnij i doświetl go” jest świetna, o ile w ogóle to coś na poboczu zostanie rozpoznane jako znak. Jeżeli znak nie zostanie rozpoznany jako znak, to przesłanka reguły nie zostanie zaktywowana (częściej, chociaż potocznie, mówi się: zapalona) i na pewno nie zostanie wykonana konkluzja. Znak zostanie zignorowany.

            Po drugie, reguła „jeżeli znak jest źle oświetlony, to zwolnij i doświetl go” nie może być tak sobie użyta, bo doświetlenie znaku może oślepić innych użytkowników drogi. Musimy dodać kolejną regułę albo kolejny system (np. oceniania ryzyka oślepienia innych kierujących). System zaczyna się lawinowo komplikować.

          2. To nie w tym rzecz czy proste czy nie proste, ale czy w pełni automat czy na jakimś etapie trzeba mu pomagać. Otóż automat. A Jeśli zgodzimy się że automat to to wyklucza dowolność funkcjonowania i przymusza pojazd do realizacji programu. Tu nie ma miejsca na autonomiczność. Bo co oznacza że maszyna jest autonomiczna? Że wsiadam do takiego pojazdu i mówię Nach Cieszyn plis, a on na to że nie bo nie, i żebym przyszedł jutro to może pojedziemy. Problemy z odczytywaniem znaków jest wydumanym problemem, z wielu względów np. bo teraz są mapy google, mapy do nawigacji – nie rozumiem jaki to problem żeby samochód „wiedział” że w tym miejscu jest zakaz wyprzedzania? A odczytywanie znaków nie czyni z samochodu cwanej bestii bardziej niż np kontrola trakcji.

          3. DAREKPIOTREK: „Problemy z odczytywaniem znaków jest wydumanym problemem, z wielu względów np. bo teraz są mapy google, mapy do nawigacji – nie rozumiem jaki to problem żeby samochód „wiedział” że w tym miejscu jest zakaz wyprzedzania?”
            .
            Mówimy to o samochodach autonomicznych, tzn. takich, które potrafią zareagować na zmiany ad hoc w układzie drogowym, np. znaki tymczasowe ustawione przez policję / drogowców lub ustawiony na drodze trójkąt ostrzegawczy. Tego nie ma w google maps.
            Proszę sięgnąć do literatury przedmiotu (road sign recognition) i zerknąć, na czym polega problem, jakie się trudności, co udało się rozwiązać, a co jeszcze nie.

          4. Odczyt znaków deep learningiem działa sto razy lepiej niż jakikolwiek 'ręczny’ algorytm – tak po prostu jest i nie jest to nawet ciekawy temat do dyskusji. Ale w kontekście autonomii warto zastanowić się jak działa taki system w praktyce, czy rzeczywiście się uczy i zmienia zdanie, czy raczej został nauczony 99.9% wzorców w labie i podczas jazd testowych (czyli defakto zaprogramowany wygodną metodą pokazywania mu obrazków) i wsadzony do samochodu jako chip. Kierowca już nie jest nauczycielem, nie mówi systemowi dobrze rozpoznałeś/pomyliłeś się – system nie ma się uczyć gdy już działa w samochodzie, a ma umieć. W chwili gdy wyuczony prototyp poradzi sobie z trudnymi problemami typu objazdy, sygnalizacja ręczna albo złośliwe dzieciaki, będzie szansa że wejdzie do produkcji. Na moje oko z 10 lat minimum.

          5. Fakty są takie, że sztucznej inteligencji póki co nie ma i nie przybliżyliśmy się za bardzo do tego żeby był i osobiście nie wierzę żeby się rychło pojawiła. Nawet nie zabardzo przybliżyliśmy się do zdefiniowania co to właściwie ma być ta sztuczna inteligencja? Pojawią się za to samochody bez kierowców, i tramwaje bez motorniczych ale to dzięki automatyzacji i telekomunikacji. I o tym mówię. Może Pan uważać inaczej – proszę bardzo – możliwe że Amerykanie mają sztuczną inteligencje ale nic sie do tego nie przyznają.

          6. darekpiotrek: „Znak może być źle oświetlony, brudny, zaśnieżony, widoczny częściowo, uszkodzony, obrócony, przekrzywiony, nietypowy” Jeżeli znak jest źle oświetlony to zwolnij i doświetl go.
            – A tak w ogóle podałem trywialny przykład dla zobrazowania że sterowanie całym procesem zawsze będzie związane z funkcją jeżeli > to. Akcja i reakcja Mam nadzieję że to jest jasne przynajmniej dla części

        3. @ Zorro: No chyba, że przerobimy wszystkie znaki na znaki aktywne komunikujące się z samochodami. Na to się nie zanosi i dlatego buduje się systemy rozpoznawania znaków takich, jakie stoją na ulicy.
          ———–
          Znowu w całości ma Pan dużo racji, ale przy samochodach autonomicznych mowa jest o niezbyt już trudnym systemie komunikowania się, tak z samą drogą, jak i jej użytkownikami. Już prowadzi się poważne prace nad automatycznym komunikowaniem się użytkowników na skrzyżowaniach.
          ***

    3. @ Zorro: Nie tak działa sztuczna inteligencja. Sztuczna inteligencja to NIE jest taki algorytm jak sortowanie czy całkowanie numeryczne. Sztuczna inteligencja polega na czymś troszkę innym.
      ———
      Dokładnie tak, jak Pan tu napisał.
      ***

    4. Zacznijmy od tego, że sztuczna inteligencja nie jest tożsama i nie oznacza automatycznie systemu samouczącego się. W zależności od domeny lepiej mogą sprawdzać się AI deterministyczne albo statystyczne. Wszędzie tam gdzie wymagane są sztywne reguły, procedury itp, albo gdzie konsekwencje błędu mogą być kosztowne albo tragiczne, deterministyczne AI działają lepiej (finanse, automatyka przemysłowa itp). Stąd pomysł, że skrajne przypadki dylematów etycznych można albo i trzeba oprogramować deterministycznie. Samochód autonomiczny jest kombinacją różnych podsystemów gdzie uczenie maszynowe będzie raczej ograniczone do wąskich domen jak właśnie rozpoznawanie znaków i klasyfikacja innych obiektów na drodze.
      .
      Druga sprawa to systemy samouczące się a podejmowanie decyzji. Sieci neuronowe to konstrukcja wyższego poziomu, która jest w pełni dekonstruowalna do postaci linearnego programu, który jest parametryzowany wynikami poprzednich operacji. Uczenie się to tylko rozbudowana forma kalibracji parametrów wejściowych i zachowywania stanu. Jest wiele programów, które robią to samo w uproszczonej formie i raczej nie podejrzewamy je o autonomię. Z chwilą gdy sieci neuronowe staną się pełnymi generalistami a nie bardzo wąskimi specjalistami jak dziś, staniemy przed etycznymi problemami autonomii maszyn. Samochody autonomiczne, które pojawia się na drogach za może 10 albo 20 lat nie będą jeszcze długo generalistami, ale będą całkiem nieźle robić co do nich należy.

  2. W tekście: http://racjonalista.tv/ludzkie-i-maszynowe-problemy-etyczne/ którym rozpocząłem temat znajduje się taka rozmowa:
    @ Janusz: Andrzeju Staram się zrozumieć dlaczego się martwisz w tym eseju. Obecnie mamy poważniejsze problemy z technologia. (…) Ja bym się sprawami etyki nie martwił dopóki automaty są nam podporządkowane.
    ————-
    @ Andrzej Bogusławski. Tyle tylko, iż ja jestem przeciwnikiem, a nawet wrogiem wszelakiej jednomyślności. Nie przeszkadza mi wcale, iż są ludzie bardziej martwiący o np. cyberprzestępczość. Zaś mnie tu akurat martwią przyszłościowe sprawy etyczne związane z androidami, czyli czymś trochę więcej niż tylko automatami zbudowanymi do służenia mam. Choć dziś to jeszcze problemy trochę wydumane, to są to problemy z zupełnie niedalekiej przyszłości, nad którymi należy zastanawiać się już teraz.
    ——–
    Teraz w to włącza się pan Jarek Dobrzański, który wie lepiej: „Słusznie, ale sposób w jaki stawiana jest ta kwestia jest przedziwny. A jeżeli nie przedziwny to co najmniej poplątany – parę zupełnie różnych dylematów łączy się w jakąś niby spójną całość”. Jak z tego widać on nie tylko lepiej rozumie postawiony przeze mnie problem, ale także wie lepiej co my myślimy: „Nie podoba nam się samochód zaprogramowany utylitarnie, który może nas zabić”.
    Nie wiem komu nie podoba się idea samochodów w pełni autonomicznych, gdyż mnie akurat się podoba i to bardzo (już choćby ze względu na ograniczenie ofiar wypadków), ale uważam, iż przy takim rozwiązaniu pozostaje jednak problem – co najmniej moralnej odpowiedzialności za wypadek na co zwróciłem uwagę.
    Oczywiście pan Jarek Dobrzański ma już tu gotową odpowiedź: „Odpowiedzialność za ofiary i decyzje autonomicznych samochodów bierze producent. Samochód to wciąż tylko maszyna, wyprodukowana przez kogoś, maszyny z uwagi na swoje wady techniczne na pewno zabijają dziś wielu ludzi i nie widzimy w tym moralnego dylematu. Sztuczna inteligencja i autonomiczność nie są w tym przypadku niczym szczególnym i niczego w tej relacji nie zmieniają”.
    I według niego rozbija w pył moje moralne dylematy szukające odpowiedzialności pomiędzy programem i maszyną, a konkretnym zdarzeniem, które należy ocenić biorąc wiele jego aspektów pod rozwagę i o czym tam napisałem.
    ***
    Dalej pan Jarek Dobrzański poucza: „Kwestia sztucznych inteligencji, które mają uczucia jest ciekawsza, ale też wymaga trochę rozebrania na części pierwsze. Uczucia to nie jest dobre kryterium”.
    ————-
    Tyle tylko, iż mnie filozoficzne właśnie zainteresowała maszyna wyposażona w uczucia i właśnie takie przyjąłem kryterium zainspirowany trochę serialem „Westworld”, choć nie tylko nim, gdyż pamiętam wiele takich problemów opisanych w przeczytanej kiedyś literaturze science fiction. To tu naprawdę jest wtórne czy takie androidy powstaną w 2036 czy w 2066? One powstaną na pewno, gdyż będzie na nie zapotrzebowanie i do wrogów mordowania i do kochania. Mnie zresztą bardziej tu interesuje problem filozoficzny (moralny) a nie techniczny. Pan chce na to czekać aż powstaną i dopiero wtedy nad tym się zastanawiać? Dobrze taka Pańska wola i ja nie mam nic przeciwko temu, tylko czemu innym Pan zastanawiania się już teraz broni?
    _
    Szanowny Panie Darku, naprawdę nie mam nic przeciwko Pańskim zainteresowaniom ani przeciwko Pańskiemu rozumieniu problemów, tylko bardzo bym prosił o podobny stosunek do mnie i do stawianych przeze mnie problemów. Ja naprawdę wiem co mnie interesuje i stawiam swoje, a nie Pańskie dylematy pod dyskusję.
    ***

    1. Jeżeli stawiany jest jakiś problem albo dylemat, to można ciągnąć narzucone rozumowanie i starać się rozwiązać dylemat w tych ramach, ale można też zastanowić się, zakwestionować albo próbować wspólnie doprecyzować sam problem albo dylemat. Nie dopatrywałbym się w tym czepialstwa albo ograniczania prawa do posiadania własnego zdania i konstruowania własnych problemów. Przykład z uczuciami wymaga właśnie tego – zastanowienia się co tak naprawdę rozumiemy mówiąc 'maszyna która ma uczucia’.

      W kwestii dylematów etycznych związanych z samochodami autonomicznymi odnoszę się do szerszej dyskusji, która rozbrzmiewa głośno w sferze dziennikarsko/popularnonaukowej.

  3. ZORRO ma racje. AI to tez algorytm .Rozny od sortowania poniewaz akceptuje dane czujnikow. Czyli ten algorytm dziala roznie w roznych okolicznosciach a algorytm sortowania powtorzony dla rozyvch danych dziala identycznie choc jest mozliwe ze wybiera rozne sciezki logiki.
    Tak czy inaczej odpowiedzialny jest czlowiek a nie maszyna. Wspolczesny samochod ma duzo atomatyzaxji
    a nikt nie osakarza samochody zamiast producenta lub kierowcy.
    Decysuje vczlowiek a elektronika wykonuje software.

    1. @ Janusz: ZORRO ma racje. AI to też algorytm.
      ————-
      Algorytm – skończony ciąg jasno zdefiniowanych czynności, koniecznych do wykonania pewnego rodzaju zadań. Zadaniem algorytmu jest przeprowadzenie systemu z pewnego stanu początkowego do pożądanego stanu końcowego.

      Sztuczna inteligencja (SI, ang. artificial intelligence, AI) – dziedzina wiedzy obejmująca logikę rozmytą, obliczenia ewolucyjne, sieci neuronowe, sztuczne życie i robotykę. Sztuczna inteligencja to również dział informatyki zajmujący się inteligencją – tworzeniem modeli zachowań inteligentnych oraz programów komputerowych symulujących te zachowania. Można ją też zdefiniować jako dział informatyki zajmujący się rozwiązywaniem problemów, które nie są efektywnie algorytmizowalne.
      ***

      1. AI to też algorytm, ale taki, który nie zawsze dotyczy bezpośrednio problemu. Może dotyczyć np. uogólnionej reprezentacji problemu. Uogólnienie pozwala rozwiązywać problemy trudno algorytmizowalne algorytmami.

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *

osiem + jedenaście =