- TECHNOFOBIA
- Posts
- Co to jest GPT-3? | TECHNOFOBIA
Co to jest GPT-3? | TECHNOFOBIA
Dzień dobry!
Dzisiejsze wydanie newslettera zacznę inaczej, bo od opowiedzenia o zmianach jakie w nim zajdą z dniem dzisiejszym.
Po pierwsze powitajcie na pokładzie Macieja Marka, który będzie wraz ze mną współtworzył Technofobię. Pisanie treści do tego newselttera przez 6 lat to cholernie długi okres czasu i stwierdziłem, że potrzebuję wsparcia :)
Maciek będzie pełnił rolę redaktora prowadzącego i opiekował się wszelkimi rzeczami treściowymi. Pomoże mi w wyszukiwaniu informacji, pisaniu tekstów i rozbudowie dwóch kolejnych newsletterów (niebawem opowiem wam o nich więcej). Poproszę o wielkie brawa dla Macieja na zachętę! :)
Po drugie zdejmuję paywall - ten model nie sprawdził się, nie pozyskałem tylu płatnych subskrybentów ilu bym chciał. Za tego typu treści jak na Technofobii niewiele osób chce płacić - rozumiem to, biorę na klatę, wyciągnąłem naukę z tego eksperymentu i dlatego tworzę dwa inne newsletter (jeden płatny z treściami za które na pewno będziecie chcieli płacić ;).
Co z dotychczasowymi abonamentami - bardzo będzie mi miło jeśli te osoby, które wspierały mnie do tej pory nadal to będą robić. Zrozumie natomiast jeśli podejmiecie inną decyzję. Na wszystkie pytania bardzo chętnie odpowiem - piszcie do mnie na maila [email protected]
Po trzecie witam na pokładzie Escolę - pierwszego partnera Technofobii. Chciałbym przy okazji zmiany modelu biznesowego pozyskać jeszcze 1-2 partnerów, którzy pozwolą mi na rozwijanie tego newslettera.
Chcę wybrać model wspierania przez partnerów, którzy chcą docierać do czytelników Technofobii a co ważniejsze - ich wkład nie będzie wyglądał jak typowa reklama, ale wartościowy poznawczo treści.
Jeśli uważasz, że Twoja firma może być fajnym partnerem dla Technofobii to daj znać - napisz ([email protected]), pogadamy o współpracy komercyjnej!
Modele językowe i ich wzrost to jedna z największych historii tego roku. Zmieniają one naszą rzeczywistość i drzemie w nich ogromny potencjał.
Posiadają jednak swoją ciemną stronę. Są nią wrażliwe dane wykorzystywane do rozwoju projektów. Jest palący problem, który największe firmy technologiczne spychają na dalszy plan.
To tyle z ogłoszeń organizacyjnych a teraz zapraszam do lektury wstępniaka.
CZYM JEST GPT-3?
To produkt firmy OpenAI. Rozwinięcie skrótu brzmi: Generative Pre-trained Transformer, czyli model uczenia maszynowego oparty na sieci neuronowej, wyszkolony przy użyciu danych internetowych do generowania dowolnego typu tekstu. A po ludzku?
To AI, która tworzy teksty i to takie, które równie dobrze mógłby napisać człowiek. W niektórych przypadkach treść jest tak przekonująca, że trudno rozróżnić spod czyjego pióra wyszła — człowieka, czy komputera.
Ich siła pochodzi z zebrania publicznie dostępnych internetowych informacji. Szczęśliwie dla nas, generowanie treści zrozumiałych dla człowieka jest wyzwaniem dla maszyn, które tak naprawdę nie znają zawiłości i niuansów języka.
Używając tekstu z Internetu, GPT-3 jest szkolony do generowania realistycznego ludzkiego tekstu. To największe dotychczas wyszkolone oprogramowanie. Jest 10 razy większe, niż jakikolwiek model językowy kiedykolwiek stworzony.
Nic dziwnego, że GPT-3 jest wybitnie inteligentny. Na co dzień korzysta z 175 miliardów parametrów, które z łatwością pozwalają mu wykonywać zadania. Wystarczy mu ledwie kilka wyrazów lub zdań, a AI resztę zrobi za Ciebie.
Oprócz rozwiązania OpenAI, mamy do dyspozycji między innymi OPT-175B od Mety, LaMDA od Google. Ich powszechna nazwa to Large Language Models (LLM).
Zastanawiasz się, jaka jest wartość dodana tego rozwiązania? Istnieje wiele sytuacji, kiedy generowanie sporej ilości tekstu przez człowieka jest mało efektywne i wtedy potrzebne są maszyny.
W niektórych branżach potrzebny jest czasem automatycznie wygenerowany tekst, który ma w sobie pierwiastek ludzki. Na przykład centra obsługi klienta mogą używać GPT-3 do odpowiadania na pytania klientów lub wspierania chatbotów. Mogą używać go również zespoły sprzedaży do łączenia się z potencjalnymi klientami; a zespoły marketingu może wesprzeć przy pisaniu tekstów.
Dzięki swoim potężnym możliwościom generowania tekstu, GPT-3 może być wykorzystywany na wiele sposobów. Znany jest przypadek, kiedy użyto go do tworzenia kreatywnych tekstów, takich jak wpisy na blogi, teksty reklamowe, a nawet poezja, która naśladuje styl Szekspira, Edgara Allena Poe i innych znanych autorów.
GPT-3 jest również używany do zautomatyzowanych zadań konwersacyjnych. Potrafi odpowiedzieć na każdą wiadomość wpisaną przez człowieka do komputera, nowym fragmentem tekstu odpowiednim do kontekstu. Może tworzyć wszystko, co ma strukturę tekstową. Nie tylko tekst w języku ludzkim. Zaopiekuje się również streszczaniem tekstów, a nawet kodu programistycznego.
Tutaj możesz zobaczyć, jak GPT-3 pisze SQL queries. Przy jego użyciu powstał generator layoutu, w którym opisujesz w kilku słowach swój wymarzony design, a AI generuje go za Ciebie. Jeden z użytkowników Twittera stworzył wyszukiwarkę, której podstawą jest model językowy.
W rezultacie, szukając danej frazy, otrzymujesz dokładną odpowiedź z linkiem.
To tylko czubek góry lodowej. Możliwości i rozwiązań jest znacznie więcej.
PRIVACY BREACH
GPT-3 tworzy również masę problemów. Pierwszy to dane zbierane i wykorzystywane do szkolenia narzędzi.
Duże modele językowe zawzięcie pracują nad sztuczną inteligencją. Ta staje się coraz bardziej integralną częścią internetowego systemu. LLM zbierają ogromne ilości informacji z internetu, w tym artykuły i wpisy w mediach społecznościowych.
Nazwiska twórców pojawiają się w nich regularnie. Jeśli użytkownik opublikował nawet osobisty wpis w języku angielskim, to istnieje szansa, że jego dane mogą być częścią niektórych najpopularniejszych na świecie modeli.
Firmy technologiczne takie jak Google i OpenAI utrzymują w tajemnicy zestawy materiałów, które zostały wykorzystane do budowy ich modeli językowych. Pewne jest, że zawierają wrażliwe informacje osobowe, takie jak adresy, numery telefonów, adresy e-mail, a nawet informacje o rodzinie.
Wiele odpowiedzi w narzędziu nie jest poprawnych. GPT-3 przewiduje kolejne słowa na podstawie tekstu wprowadzonego przez użytkownika. To część artykułu prosto z OpenAI.
Language models like GPT-3 are useful for many different tasks, but have a tendency to “hallucinate” information when performing tasks requiring obscure real-world knowledge.To address this, we taught GPT-3 to use a text-based web-browser. The model is provided with an open-ended question and a summary of the browser state, and must issue commands such as “Search ...”, “Find in page: ...” or “Quote: …”. In this way, the model collects passages from web pages, and then uses these to compose an answer.
Może jednak nie ma się czym martwić?
Nie powiedziałbym. Eksperci specjalizujący się w LLM wydobyli prawdziwe dane osobowe, takie jak adres, numer telefonu, czy email z poprzedniej, mniejszej wersji GPT-2.
Ten problem będzie się pogłębiał, bo większość osób nie dostrzega jak potężna jest ta technologia, kiedy nie podlega żadnym regulacjom.
Wśród znawców tematu pojawiają się głosy, że LLM są ogromnym zagrożeniem dla prywatności w sieci i otwierają mnóstwo dróg do zagrożeń związanych z prawem i bezpieczeństwem. A wysiłki, które mają na celu poprawę prywatności uczenia maszynowego i uregulowanie tej technologii wciąż są w powijakach.
Brak regulacji wokół LLM można porównać do uruchomienia przez Google opcji Street View.
Na początku był zachwyt. Dopiero później widzieliśmy zdjęcia osób, w momentach, w których raczej nie chciały być fotografowane (np. zdjęcia z plaży). Oprócz zdjęć firma zbierała hasła i maile przez WiFi.
Trwało to do momentu sprawy sądowej, która kosztowała Google 13 milionów dolarów i zakazy w niektórych krajach. Od tego momentu byli zmuszeni wprowadzić funkcje ochrony prywatności.
Unfortunately, I feel like no lessons have been learned by Google or even other tech companies.
Ryzyko jest ogromne. Nie chodzi tylko o to, że Twoja obecność w internecie może być ponownie użyta w innym kontekście, ale chodzi o też o kwestie bezpieczeństwa.
Hakerzy mogą wykorzystać modele do wydobycia numerów ubezpieczenia społecznego lub adresów domowych.
Ale to nie wszystko. Na domiar złego, mogą zatruwać ekosystem zmanipulowanymi danymi. Im coś regularniej pojawia się w zestawie danych, tym bardziej prawdopodobne jest, że model to wypluje. Może to prowadzić do zasypywania ludzi błędnymi i szkodliwymi skojarzeniami, które po prostu nie znikną.
Dotyczy to wszystkich najpopularniejszych LLM. Początkiem sierpnia 2022 Meta wystartowała z BlenderBotem 3, czyli zaawansowanym A.I. chatbotem. Od początku bot dzielił się co najmniej dziwnymi odpowiedziami. Według narzędzia to Donald Trump dalej był prezydentem USA i miał sprawować władzę do 2024 roku (aktualnym prezydentem jest Joe Biden). W odpowiedziach programu pojawiały się również rasistowskie odpowiedzi.
Do sytuacji odniosła się Joelle Pineau, dyrektor zarządzająca badaniami AI w Meta:
While it is painful to see some of these offensive responses, public demos like this are important for building truly robust conversational AI systems and bridging the clear gap that exists today before such systems can be productionized.
Rozwiązanie problemu niepoprawnych danych i szkodliwych łatek przypisanych do użytkowników będzie niezwykle wymagające. Już teraz trudno jest kasować informacje z internetu. Jeszcze trudniej będzie firmom technologicznym usunąć rekordy, które zostały już wprowadzone do ogromnego modelu.
A to są dopiero początki rozwoju tej technologii. Kolejne wersje będą karmione jeszcze większą ilością danych. W grę wejdą nie tylko informacje osobowe, ale dane objęte prawami autorskimi, takie jak kod źródłowy czy książki. Już teraz OpenAI pracuje z GitHubem, czyli stroną internetową, gdzie twórcy oprogramowania publikują i śledzą swoją pracę.
Ostatecznie zadecydują o tym sądy.
PRZYSZŁOŚĆ MODELI
Jeśli firmy technologiczne będą dalej zaniedbywać prywatność danych, to zostaną pociągnięte do odpowiedzialności. Już teraz mamy przypadki, kiedy organizacje zostały zmuszone do usunięcia nielegalnie zebranych informacji.
Zapominają, że ponowne używanie danych, choć dostępnych publicznie, nie jest zgodne z prawem. Szczególnie w Europie. Przykład? Clearview, czyli aplikacja do rozpoznawania twarzy. Do tej pory 4 rządy nałożyły kary na firmę, by ta zaprzestała zbierania ogólnodostępnych zdjęć do budowania swojej bazy.
Te same zasady dotyczą LLM. Kiedy gromadzisz materiały do budowy modeli językowych, to musisz mieć pewność, że ich wykorzystanie jest zgodne z prawem.
Korporacje zgodnie przyznają, że ochrona danych przy tworzeniu takiego produktu to ciągła praca i w tym momencie nie mają idealnych rozwiązań, by obniżyć ryzyko użycia danych osobowych.
Google i OpenAI twierdzą, że próbują złagodzić ten problem przez usunięcie zapisów, które pojawiają się wielokrotnie w plikach do szkolenia. Takie zestawy składają się z gigabajtów, a nawet terabajtów rekordów. Wyłączenie wrażliwych danych z całej listy jest jak szukanie igły w stogu siana.
Meta wykorzystuje tylko bazy, które przeszły przez audyt prywatności, imo to w ich modelach pojawiają się osobiste informacje. Stąd część ekspertów od data privacy uważa, że do rozwoju produktów powinny być wykorzystywane tylko zestawy wyprodukowane do użytku publicznego. A nie ściągnięte z internetu.
Powstają inicjatywy, które mają przyczynić się do większej świadomości o zagrożeniach związanych z prywatnością. Jedną z nich jest BLOOM, czyli nowy LLM. Wyróżnia się m.in. otwartością, z jaką twórcy podchodzą do procesu szkolenia. Już teraz opublikowali zbiory danych, notatki, dyskusje, kod, a także logi i szczegóły nauki modelu.
Wszystko po to, by pokazać, że AI może być budowane w sposób jawny i odpowiedzialny.
To powiew świeżości i nadziei w tym środowisku.
GPT-3 to potencjalnie przełomowa technologia, która może zrewolucjonizować dziedzinę sztucznej inteligencji. Jednak wszystkie modele językowe, niezależnie od ich wielkości borykają się z problemami jakości i ochrony danych. Trzymajmy kciuki, by twórcy poszli drogą BLOOM i przykładali większą rangę do transparentności swoich działań. Liczę przy tym, że skupią się na większej ochronie prywatnych informacji.
Artur & Maciej
KONKURS AULERY POWRÓCIŁ!!!
https://aulery.com/
Po dwóch latach przerwy spowodowanych pandemią najstarszy i największy konkurs polskiego ekosystemu startupowego powraca z edycją 2022!
JAK POPRAWIĆ DOŚWIADCZENIA Z EVENTÓW?
Autorem materiału jest firma Escola
Jeszcze kilka lat temu, nie wyobrażaliśmy sobie udziału w targach i konferencjach bez pokaźnej broszury pod pachą z mapą wydarzenia i listą dostępnych atrakcji, prelekcji i wykazem prelegentów. Dziś to wszystko mamy dostępne w aplikacji mobilnej. Zamiast zakreślać interesujące prelekcje na wydrukowanych broszurach, dodajemy je do ulubionych. Nie musimy o nich pamiętać. O właściwej porze powiadomi nas o nich aplikacja. Dzisiaj wszystko, co niezbędne do sprawnego uczestniczenia w wydarzeniu, mamy pod ręką w swoim smartfonie.
Nasze doświadczenia związane z odbiorem wydarzeń nabrały zupełnie innej formy. Aplikacja mobilna pozwala na o wiele lepszą interakcję z organizatorami: głosowanie na najlepsze wystąpienia, udział w konkursach bez konieczności przedzierania się przez kolejkę chętnych.
Wpływ na przyszłe edycje wydarzenia to jedna z zalet aplikacji eventowych. Kolejną jest możliwość bezpośredniej interakcji z występującymi na scenach. Kiedyś, aby zadać pytanie w trakcie prelekcji, trzeba było liczyć na szczęście, aby być wybranym ze wszystkich zgromadzonych na sali i — powiedzmy sobie szczerze — wymagało trochę odwagi. Dzisiaj możemy zadawać pytania na żywo w trakcie wystąpienia z poziomu telefonu.
No dobrze, ale czy wiecie, jak powstają takie aplikacje?
Stoi za nimi polski dostawca: Meetinga.
Dotychczas stworzyli aplikacje dla eventów takich marek, jak Porsche, CD Projekt, Forum, czy C.H. Beck.
Meetinga to sposób na stworzenie całkowicie spersonalizowanej aplikacji dla każdego wydarzenia — zarówno tego odbywającego się offline, jak i online. Co ciekawe, Meetinga obsługuje wydarzenia w Polsce, Europie, na Bliskim Wschodzie, a nawet w USA. Przekonaj się, jak to działa na stronie: Meetinga.
TypeScript Meetup 13. października w Gdańsku
W kalendarzu każdego, kto chce rozwijać się w TypeScript i mieszka w Trójmieście, powinno znaleźć się spotkanie organizowane przez CTO Escola S.A. Meetup poświęcony TypeScript będzie świetną okazją do wymiany wiedzy i doświadczeń z ekspertami w tym języku programowania oraz do znalezienia nowych kontaktów. Podczas spotkania odbędą się 3 prelekcje:
Property based testing: sometimes cigar is just a cigar - Michał Miszczyszyn
Redux Toolkit - niby mniej boilerplate'u, a jednak da się prościej - Bartosz Cytrowski
Testy mutacyjne i Fuzz testing, czyli o czym nie powie nam metryka 100% Code Coverage - Mateusz Wojczal
Wydarzenie jest bezpłatne. Lik do rejestracji: Gdańsk TypeScript Meetup
NEWSY WARTE TWOJEJ UWAGI:
Meta i Google szukają sposobów na obniżenie kosztów, ponieważ firmy przygotowują się do spowolnienia gospodarczego. Obie firmy podobno redukują personel. Meta reorganizuje działy i daje pracownikom pewien czas na ubieganie się o inne role w firmie. Google również wymaga od niektórych zatrudnionych, aby ubiegali się o nowe role. Jeśli stanowiska są eliminowane, to pracownicy Mety mają około 30 dni na znalezienie innej pracy wewnątrz firmy, a pracownicy Google około 60 dni.
Tesla wdraża dachy solarne i Powerwalls w zupełnie nowej inwestycji w Austin w Teksasie. Firma nawiązała współpracę z Brookfield Asset Management i Dacra, aby zaoferować dachy słoneczne Tesla i Powerwalls jako pakiet na zupełnie nowych domach. Projekt trwa od roku i w osiedlu jest już sporo domów wyposażonych w tę technologię. Właściciele domów są w stanie sprzedać nadmiar energii z powrotem do sieci, budując długoterminowy pasywny dochód. Nowe instalacje zostaną prawdopodobnie włączone do sieci rosnącej wirtualnej elektrowni Tesli w Teksasie.
Badacze Mozilli odkryli, że przyciski YouTube'a „Nie interesuje mnie to”, „Łapka w dół”, „Nie polecaj kanału” i „Usuń z historii oglądania” są w dużej mierze nieskuteczne w zapobieganiu polecania podobnych treści. Przycisk „Nie polecaj kanału” okazał się najbardziej skuteczny. Rzecznik YouTube potwierdził, że zachowanie było zamierzone, ponieważ platforma nie stara się blokować wszystkich treści związanych z danym tematem, opinią lub mówcą. Skrytykowali badanie, mówiąc, że nie uwzględnia ono tego, jak działają systemy YouTube.
Google określiło TikTok jako możliwe zagrożenie dla swojej wyszukiwarki. Prawie 40% młodych ludzi używa TikToka lub Instagrama do odkrywania miejsc, zamiast korzystać z Google Maps lub ich wyszukiwarki. Chińska platforma dobrze pokazuje treści związane z wyszukiwaniem, ale nie jest w stanie zapewnić szybkiego dostępu do innych stron lub odpowiedzieć na pytania, jak Google.
Sparrow to chatbot AI wyszkolony na dużym modelu językowym Chinchilla firmy DeepMind. Jego zadaniem jest rozmowa z ludźmi i odpowiadanie na pytania, czasami wykorzystując wyszukiwanie w Google w celu uzyskania odpowiedzi. Model uczy się metodą prób i błędów dzięki informacjom zwrotnym od ludzi. Został zaprojektowany jako krok naprzód w rozwoju SI, które mogą rozmawiać z ludźmi bez niebezpiecznych konsekwencji..
20 września Spotify ogłosiło wejście w świat audiobooków. 300 000 egzemplarzy jest dostępnych w USA. Choć książki w wersji audio stanowią zaledwie 6%-7% udziału w szerszym rynku książki, kategoria ta rośnie o 20% każdego roku. Audiobooki będą wyświetlane z ikoną blokady na przycisku odtwarzania, sygnalizując, że aby ich słuchać, trzeba je kupić. Firma zapowiada, że wkrótce udostępni kilka ciekawych funkcji skierowanych do twórców.