In Breve
- Quanto ha raccolto Applied Compute?
- La startup ha raccolto 350 milioni di dollari in un round che valuta la società 3,25 miliardi di dollari.
- Che cosa offre la piattaforma?
- Servizi cloud per addestrare modelli linguistici, svolgere inferenza e instradare le richieste verso modelli diversi.
- Come verranno utilizzati i nuovi fondi?
- Secondo Applied Compute, il capitale servirà ad ampliare la presenza sul mercato e ad acquistare ulteriore infrastruttura.
Applied Compute, startup che sviluppa infrastrutture cloud per l’intelligenza artificiale, ha raccolto 350 milioni di dollari in un round che valuta la società 3,25 miliardi di dollari. L’operazione è stata guidata dall’investitore angel Elad Gil, con la partecipazione di Nvidia, Shopify Ventures, HubSpot Ventures e oltre una dozzina di altri investitori.
La società, attiva da meno di 18 mesi, ha comunicato che i suoi ricavi ricorrenti annualizzati hanno superato i 100 milioni di dollari. Tra i clienti figurano Microsoft, DoorDash e altre grandi aziende tecnologiche, secondo quanto dichiarato da Applied Compute.
Una piattaforma per addestramento e inferenza
La piattaforma cloud di Applied Compute viene utilizzata dagli sviluppatori per addestrare i modelli linguistici di grandi dimensioni e svolgere attività di inferenza, cioè generare risposte a partire dalle richieste degli utenti. L’azienda affianca ai servizi software un gruppo di ricercatori di machine learning, che può supportare i clienti in attività come la definizione di valutazioni per i nuovi modelli.
Il sistema adotta un approccio di asynchronous reinforcement learning. Secondo la descrizione fornita dall’azienda, questa architettura consente ai componenti incaricati di generare i dati e di aggiornare i pesi del modello di lavorare contemporaneamente, invece di procedere in modo sincrono. La piattaforma supporta inoltre la self-distillation, una tecnica che elimina la necessità di ricorrere a modelli insegnanti per supervisionare l’addestramento.
Un assistente AI integrato automatizza alcune attività ripetitive, come la sintesi delle competenze apprese da un modello durante una sessione di addestramento. La società afferma che queste informazioni vengono normalmente ricavate dall’analisi di lunghi registri di ragionamento.
Autoscaling e instradamento delle richieste
La piattaforma include funzioni per i carichi di lavoro di inferenza. Un motore di autoscaling modifica automaticamente la quantità di hardware assegnata a un modello in base al traffico degli utenti. Una funzione denominata online RL utilizza periodicamente i prompt ricevuti dal modello per aggiornarne i pesi e mantenerlo allineato alle esigenze del cliente, secondo Applied Compute.
I servizi di addestramento e inferenza sono affiancati da Shift-1, un model router che indirizza ogni richiesta al modello linguistico più adatto a soddisfarla contenendo i costi. Il sistema può anche suddividere i compiti complessi tra più modelli linguistici.
Le prossime mosse
Applied Compute ha dichiarato che utilizzerà il capitale raccolto per ampliare la propria presenza sul mercato e acquistare ulteriore infrastruttura.
In un post sul blog, i fondatori Rhythm Garg, Yash Patil e Linden Li hanno descritto addestramento, inferenza e instradamento come i primi elementi di uno stack più ampio, destinato a comprendere anche i modelli e i sistemi per eseguirli, monitorarli e proteggerli.