Un precedente nella governance dell'IA
Anthropic ha annunciato la concessione di permessi interni a sei membri di METR (Model Evaluation and Threat Research), un'organizzazione indipendente no profit. Questa misura, descritta come un accesso di 'livello dipendente', consente ai valutatori esterni di operare all'interno dei sistemi dell'azienda con un'autonomia senza precedenti nel settore.
L'obiettivo dichiarato è colmare il divario tra la comprensione interna dei sistemi di IA e la capacità degli auditor di verificarli. Integrando questi valutatori nella routine quotidiana, l'azienda cerca di garantire che le conclusioni su rischi, incidenti e pratiche operative si basino su un'osservazione diretta e non su report filtrati o limitati dall'azienda stessa.
Cosa implica l''accesso di livello dipendente'
Nella pratica, questo accesso si traduce nella fornitura di hardware aziendale, spazio fisico negli uffici di Anthropic e credenziali per utilizzare gli strumenti interni di valutazione dei rischi. I ricercatori di METR possono interagire con i modelli e i sistemi di monitoraggio degli agenti allo stesso modo in cui lo farebbe un tecnico interno del team di sicurezza.
Tuttavia, questo accesso non è totale. Sono esplicitamente esclusi i dati dei clienti, le informazioni protette da segreto professionale e l'architettura tecnica dettagliata dei modelli. Questa distinzione è cruciale per bilanciare la trasparenza con la protezione della proprietà intellettuale e la privacy degli utenti.
Ambito dell'accesso concesso a METR
Confronto tra ciò che i valutatori possono e non possono accedere.
| Categoria | Accesso consentito | Accesso limitato |
|---|---|---|
| Hardware e ufficio | Sì (attrezzature e spazio dedicati) | N/A |
| Modelli e API | Sì (esecuzione e valutazione) | N/A |
| Dati dei clienti | No | Completamente escluso |
| Architettura del modello | No | Escluso per riservatezza |
Il framework a tre livelli di audit
Anthropic sta progettando un sistema di accesso scalato per altri valutatori. Il primo livello, in cui si trova attualmente SecureBio, implica ricerche di ambito molto delimitato e richiede un'autorizzazione preventiva per la pubblicazione. Il secondo livello fornisce più informazioni e consente la pubblicazione senza approvazione preventiva, soggetto a soppressioni specifiche che l'auditor può contestare pubblicamente.
METR opera al terzo livello, il più avanzato. Questo livello combina l'accesso tecnico completo (simile a quello di un dipendente) con diritti di pubblicazione analoghi al secondo livello. L'azienda ha indicato di essere in conversazioni con altre entità, come Hugging Face e Faculty (filiale di Accenture), per integrarle in questo schema, sebbene i loro diritti attuali siano più restrittivi.
Gerarchia di accesso per i valutatori esterni
Processo di integrazione e permessi in base al livello di fiducia e ambito.
- 01Livello 1: Accesso limitato, pubblicazione soggetta ad approvazione preventiva (es. SecureBio).
- 02Livello 2: Accesso ampliato, pubblicazione libera con possibilità di censura tecnica contestabile.
- 03Livello 3: Accesso di livello dipendente, pubblicazione indipendente con censura solo per riservatezza stretta (METR).
Indipendenza e controversie
Sebbene METR si definisca indipendente e non riceva finanziamenti diretti dai laboratori che valuta, esistono critiche sulla sua autonomia. L'organizzazione conta ricercatori provenienti da Anthropic, OpenAI e DeepMind, e il suo finanziamento proviene in gran parte da fondazioni legate al movimento dell'altruismo efficace, con il quale Dario Amodei, CEO di Anthropic, mantiene legami familiari e professionali.
Critici come David Sacks hanno sottolineato che questa vicinanza potrebbe compromettere l'oggettività delle audit. Tuttavia, METR ha enfatizzato che la sua metodologia si basa sulla valutazione scientifica delle capacità autonome e che il suo lavoro, come la revisione dei sistemi di monitoraggio degli agenti di Anthropic, ha identificato vulnerabilità reali che l'azienda ha corretto.
Implicazioni per l'industria e la regolamentazione
Questa iniziativa si inserisce nella proposta di Dario Amodei di 'moderare l'avanzamento della frontiera' dell'IA. Stabilendo uno standard di trasparenza verificabile, Anthropic cerca di influenzare la futura regolamentazione, sostenendo che i laboratori devono assumersi la responsabilità di dimostrare la sicurezza dei propri modelli prima che i governi impongano restrizioni coercitive.
Per il resto dell'industria, questo movimento pone un dilemma: adottare un livello simile di trasparenza per mantenere la competitività regolatoria o mantenere il controllo sulle informazioni tecniche. La capacità di METR di contestare pubblicamente le censure imposte da Anthropic aggiunge un livello di accountability che potrebbe diventare un requisito standard per i modelli frontier nei prossimi anni.
Questioni aperte
- Non è stato confermato se questo modello di accesso sarà adottato da altri laboratori come OpenAI o Google nel breve termine.
- L'impatto reale delle audit di METR nella riduzione dei rischi catastrofici non è ancora stato quantificato in modo indipendente.
- Non è chiaro come verranno gestite le possibili discrepanze tra l'interpretazione della 'riservatezza' da parte di Anthropic e quella di METR nei casi limite.
Continua a esplorare
Fonti consultate
Correzioni e trasparenza
Se trovi un dato errato o non aggiornato, inviaci la pagina e la fonte da verificare.
Proponi una correzione