Bot językowy AI Toolformer został zaprezentowany przez Meta, firmę, która stworzyła Facebooka i Instagrama. Toolformer może nauczyć się korzystać z innych narzędzi programowych bez poświęcania swoich podstawowych możliwości modelowania języka. Toolformer może uzyskiwać dostęp do zewnętrznych narzędzi programowych, takich jak między innymi wyszukiwarki, tłumacze języków i kalkulatory. Dzieje się tak dzięki możliwości wykorzystania interfejsów API, protokołów, które pozwalają różnym aplikacjom łączyć się ze sobą. Może teraz wykonywać czynności, takie jak sprawdzanie faktów, matematyka i planowanie, które wcześniej wymagały interakcji człowieka ze względu na tę technologię.

Kluczową zaletą narzędzia Toolformer jest umiejętność doboru odpowiedniego narzędzia i sposobu jego wykorzystania w konkretnej sytuacji. Model może obejść ograniczenia dużych modeli językowych (LLM). LLM nie są zbyt dobre w arytmetyce, wywołując interfejsy API. Na przykład może wykonywać operacje matematyczne za pomocą aplikacji kalkulatora. Toolformer może użyć łącza API do aplikacji kalendarza, aby wykonać zadanie dodania daty do kalendarza, jeśli ktoś chce to zrobić.

Podstawą narzędzia Toolformer jest wstępnie wytrenowany model GPT-J z 6,7 miliardami parametrów. Według eksperymentów naukowców na różnych czynnościach związanych z użyciem narzędzi, przewyższa znacznie większy model GPT-3. Obejmuje to 175 miliardów parametrów, ze znacznym marginesem.
Sukces narzędzia Toolformer wynika w dużej mierze z jego zdolności do „samonadzorowanego” uczenia się. Aby wyszkolić narzędzie Toolformer, badacze udostępnili mu niewielką liczbę przykładów napisanych przez ludzi, które ilustrują sposób wykorzystania każdego interfejsu API. Dali mu również dostęp do ogromnego zestawu danych modelowania języka, aby mógł dodawać adnotacje do potencjalnych wywołań API. W rezultacie Toolformer może uzyskać szeroką wiedzę na temat korzystania z różnych narzędzi bez potrzeby posiadania specjalistycznych instrukcji dotyczących niektórych zadań.

Włączenie zewnętrznych narzędzi programowych do modeli językowych, takich jak Toolformer, prawdopodobnie zaowocuje bardziej zdolnymi i niezawodnymi asystentami. Rodzi to jednak również pytania dotyczące bezpieczeństwa i prywatności. Zdolność LLM do niszczenia danych użytkownika lub powodowania problemów w świecie zewnętrznym może wzrosnąć, jeśli jest w stanie wykonywać wywołania API. Na przykład asystent oparty na LLM może nieumyślnie wykonać wywołanie API, które narusza dane użytkownika lub szkodzi systemom strony trzeciej.

Toolformer dokonał znacznego postępu w przetwarzaniu języka naturalnego. Dzieje się tak dzięki możliwości wykorzystania innych narzędzi programowych, takich jak wyszukiwarki, kalkulatory i tłumacze językowe, bez uszczerbku dla podstawowych umiejętności modelowania języka. Sposób, w jaki angażujemy się w modele językowe, może ulec zmianie w wyniku zastosowania tej technologii. To uczyni ich bardziej użytecznymi i godnymi zaufania pomocnikami. Jednak włączając zewnętrzne narzędzia programowe do LLM, badacze powinni być świadomi problemów związanych z bezpieczeństwem i prywatnością, które mogą się pojawić.