Meta llança Llama 3, un model d'IA capaç de generar imatges en temps real a WhatsApp
Índex
Avui (18/4) el meta va anunciar els dos primers models de la propera generació del Llama, el Meta Llama 3, llest per ser utilitzat de manera integral. Aquesta nova versió inclou models de llenguatge pre-entrenats i afinats, amb paràmetres 8B e 70B, capaç de cobrir una àmplia gamma de necessitats. Seguint la tradició de donar suport a la comunitat de codi obert, Meta va fer el Truca 3 per a la comunitat. Això també significa que el Meta IA, intel·ligència artificial present a les xarxes socials de l'empresa, també es millorarà, inclosa la possibilitat de crear imatges en temps real en el WhatsApp. Veure més!
Coneix Llama 3
Amb el Truca 3 l'empresa té la intenció de desenvolupar models oberts que rivalitzin amb els millors models de llenguatge propietari disponibles actualment, com és el cas GPT-4. Els comentaris dels desenvolupadors s'han prioritzat per millorar la usabilitat general de Llama 3, segons Meta, "mantenir un compromís de lideratge en l'ús responsable i la implementació dels grans models lingüístics (LLM)".
Seguint els principis de codi aberto, es va adoptar un enfocament de llançament precoç i freqüent, que permetia a la comunitat accedir i contribuir al desenvolupament d'aquests models en temps real. Les plantilles basades en text que s'introdueixen avui són només les primeres de la sèrie Llama 3. La visió de futur inclou encara més ampliar Llama 3 per oferir suport multilingüe i multimodal, augmentar la capacitat de context i millorar contínuament el rendiment en tots els aspectes clau. LLMs, com ara el raonament i la codificació.
D'acord amb l'enfocament del disseny a Truca 3, Meta va optar per una arquitectura de transformador només descodificador, que és una opció predeterminada. Llama 3 utilitza la tokenització amb un vocabulari ampliat de 128 mil fitxes, donant com a resultat una codificació del llenguatge més eficient i, en conseqüència, un rendiment millorat del model. Per optimitzar l'eficiència d'inferència dels models Llama 3, l'empresa va incorporar la tècnica d'atenció de consultes agrupades (GQA) en dues mides diferents: 8B i 70B. Durant l'entrenament, les seqüències utilitzades tenen una longitud de 8.192 fitxes i s'aplica una màscara per garantir que l'autoatenció es mantingui dins dels límits del document.
Per entrenar el millor model d'idioma, és essencial disposar d'un conjunt de dades d'entrenament gran i d'alta qualitat. D'acord amb els nostres principis de disseny, hem invertit considerablement en dades de pre-entrenament per a Llama 3. Aquest model està pre-entrenat en més de 15 bilions de fitxes, tot de fonts disponibles públicament. El nostre conjunt de dades d'entrenament és set vegades més gran que el que s'utilitza per a Llama 2 i inclou quatre vegades més codi.
Per preparar-se per a futurs casos d'ús multilingüe, més del 5% del conjunt de dades de preentrenament de Llama 3 consisteix en dades d'alta qualitat en idiomes diferents de l'anglès, que cobreix més de 30 idiomes. Tanmateix, Meta no espera assolir el mateix nivell de rendiment en aquests idiomes que el que s'aconsegueix en anglès.
Per garantir que Llama 3 s'entrena amb dades de la màxima qualitat, es van desenvolupar una sèrie de canalitzacions de filtratge de dades. Aquestes canonades inclouen l'ús de filtres heurístics, filtres per contingut inadequat, tècniques de deduplicació semàntica i classificadors de text per avaluar la qualitat de les dades. Les versions anteriors de Llama són efectives a identificació de dades d'alta qualitat, després es va utilitzar Llama 2 per generar les dades d'entrenament per als classificadors de qualitat de text que alimenten Llama 3.
A més, Meta va utilitzar experiments per determinar les millors maneres de combinar dades de diferents fonts al conjunt de dades final de preentrenament. Aquests experiments ens van permetre seleccionar una combinació de dades que garanteix que Llama 3 funcioni bé en diversos casos d'ús, inclosos preguntes trivials, STEM (ciència, tecnologia, enginyeria i matemàtiques), codificació, coneixement històric, entre d’altres.
Comparació amb Llama 2
Els nous models Truca 3, amb paràmetres de 8B i 70B, representen un avenç en relació al Truca 2, establint un nou estàndard per als models LLM a aquestes escales. Meta afirma que, a causa de les millores tant en el pre-entrenament com en el post-entrenament, els models pre-entrenats i ajustats a la instrucció són actualment els líders indiscutibles a l'escala de paràmetres 8B i 70B.
Les optimitzacions en els procediments posteriors a la formació van donar lloc a a reduir les taxes de rebuig errònies, a més de millorar l'alineació i augmentar la diversitat en les respostes dels models. També es van observar millores significatives en funcions com ara el raonament, la generació de codi i la guia futura, fent que Llama 3 sigui encara més adaptable i orientat.
Durant el desenvolupament de Llama 3 es va analitzar el rendiment del model, tant en benchmarks estàndard com en escenaris del món real. Per garantir una optimització eficaç per a aplicacions pràctiques, es va crear una nova suite d'avaluació humana d'alta qualitat. Aquest conjunt consta de 1.800 indicacions que cobreixen 12 casos d'ús principals, inclosos demanar consell, pluja d'idees, classificació, respondre preguntes tancades, codificar, escriptura creativa, extreure, suplantar personatges/persones, respondre preguntes obertes, raonar, reescriure e resum.
Per evitar el sobreajustament (O excés d’adequació, el terme més utilitzat) accidental dels models a aquest conjunt d'avaluació, fins i tot els equips de modelatge de Meta no hi tenen accés. El gràfic presentat mostra els resultats agregats de les avaluacions humanes en aquestes categories i indicacions, comparant el rendiment de Llama 3 amb els models Claude sonet, Mistral Mitjà e GPT-3.5.
Com Llama 3 millora la meta IA
A causa dels avenços fets amb Meta Llama 3, la companyia anuncia l'expansió internacional de Meta AI, recordant que el recurs era exclusiu dels Estats Units. Com a fort competidor dels models existents, Meta AI ara està disponible per a més persones a tot el món, permetent als usuaris de la Facebook, Instagram, WhatsApp e Missatger Gaudeix d'aquesta tecnologia gratuïta per realitzar diverses accions, crear contingut i accedir a la informació en temps real.
Meta AI es va revelar inicialment durant Connect l'any passat, i ara usuaris de països com Austràlia, Canadà, Ghana, Jamaica, Malawi, Nova Zelanda, Nigèria, Pakistan, Singapur, Sud-àfrica, Uganda, Zàmbia e Zimbabwe també pot gaudir dels seus beneficis. Com a part de l'expansió de Meta AI, la gent ara també hi podrà accedir meta.ai, en la versió web.
Tens pensat sortir a la nit amb els amics? Demaneu a Meta AI que us recomanin un restaurant amb una vista increïble i fins i tot opcions veganes. Esteu organitzant un viatge per al cap de setmana? Demaneu a Meta AI que trobi programes per a dissabte a la nit. T'estàs preparant per a una prova? Demaneu a Meta AI que us expliqui com funcionen els trets hereditaris. Et mudes al teu primer apartament? Demaneu a Meta AI que "imagini" l'estètica que voleu i l'assistent generarà algunes fotos d'inspiració per als vostres mobles.
Meta explicant una mica com la IA us pot ajudar
O Meta IA també estarà disponible directament a la funció de cerca de Facebook, Instagram, WhatsApp i Messenger. Això vol dir que pots accedir a la informació d'Internet en temps real sense haver de canviar entre aplicacions. Per exemple, imagineu que esteu planejant un viatge amb amics en un xat de grup de Messenger. Amb la cerca de Messenger, podeu demanar a Meta AI, impulsat pel nou Llama 3, que trobi vols des del vostre origen fins a la vostra destinació i descobriu els caps de setmana més lents per visitar. I per descomptat, tot això sense haver de sortir de l'aplicació Messenger.
Les persones també tindran la possibilitat d'accedir a Meta AI mentre naveguen pel seu feed de Facebook. Si trobeu una publicació que desperta el vostre interès, podeu sol·licitar més informació directament a Meta AI des d'aquesta publicació, igual que una cerca normal a Google, només dins d'una publicació de Facebook.
Meta està accelerant el procés d'imatge per permetre a la gent crear imatges en temps real a partir de text mitjançant la funció Imagine de Meta AI. El llançament d'aquesta funció ha començat avui en versió beta, disponible a WhatsApp i l'experiència web Meta AI als Estats Units. Quan comencin a escriure, la gent veurà que apareix una imatge a l'instant. Aquesta imatge evolucionarà amb cada poques lletres que escriviu, cosa que us permetrà veure com Meta AI dóna vida a la vostra idea en temps real.
Segons l'empresa, aquestes imatges generades presenten a millora de la nitidesa i la qualitat, que ofereix una millor capacitat per incloure text a les imatges. A més, oferirà suggeriments per millorar la imatge, que us permetran continuar perfeccionant-vos des del vostre punt de partida inicial. Quan trobeu una imatge, només heu de demanar a Meta AI que l'animi, l'adapti a un nou format o fins i tot la transformi en un GIF per compartir amb els teus amics.
Tot i que aquestes actualitzacions són específiques de Meta AI a Facebook, Instagram, WhatsApp, Messenger i al web, és important recordar que Meta AI també està disponible als Estats Units per a ulleres intel·ligents. Ray-Ban Meta, i aviat entra Meta quest — Dispositius meta realitat virtual.
Transparència amb codi obert i seguretat
El potencial de la tecnologia d'IA generativa pot millorar realment l'experiència de l'usuari dels productes de Meta i l'ecosistema més ampli. Tot i així, un altre punt que cal abordar és assegurar-se que això es fa en a responsable e segur. Per tant, l'empresa està prenent mesures per avaluar i mitigar els riscos en totes les etapes de desenvolupament i implementació de la IA. Això inclou la integració de salvaguardes al procés de disseny i llançament del model base de Llama, així com donar suport a l'ecosistema del desenvolupador per promoure pràctiques responsables.
Per tant, amb Llama 3 es va adoptar un enfocament sistemàtic que integra salvaguardes en totes les etapes del desenvolupament. Això vol dir que s'ha posat especial cura en els processos de formació i afinació, a més d'oferir eines que permeten als desenvolupadors implementar models de manera responsable.
Aquest enfocament no només reforça els esforços en IA responsable, sinó que també reflecteix la visió de la innovació oberta, que permet als desenvolupadors personalitzar de manera segura els seus productes per beneficiar els seus usuaris. Meta també té el Guia d'ús responsable, una font important per als desenvolupadors, que ofereix directrius per construir productes.
Com vam explicar quan vam llançar Llama 2, és important ser intencionat a l'hora de dissenyar aquestes mesures, ja que n'hi ha que només poden ser implementades de manera eficaç pel proveïdor de models, i d'altres que només funcionen de manera eficaç quan les implementa el desenvolupador com a part de la seva especificitat. aplicació.
Enforteix l'empresa
Des que va llançar Meta AI l'any passat, la marca ha millorat contínuament l'experiència en diverses àrees:
- Les respostes de Meta AI a qüestions polítiques i socials s'han perfeccionat, incorporant directrius específiques per a aquests temes. L'objectiu és oferir una varietat de punts de vista rellevants sobre un tema, tot respectant les intencions de l'usuari a l'hora de fer preguntes concretes.
- Incloent instruccions i respostes específiques per fer-ho més útil, utilitzant models de recompensa per guiar el vostre comportament.
- El rendiment de Meta AI s'avalua en punts de referència i mitjançant proves amb experts humans, abordant qualsevol problema identificat en un procés en curs.
- Garanties de nivell de sol·licitud i resposta, inclosos filtres i classificadors per garantir que les interaccions estiguin alineades amb les directrius i siguin segures.
- Eines de comentaris perquè els usuaris comparteixin les seves experiències, que ens permeten millorar contínuament el rendiment de Meta AI.
I tu, què t'ha semblat la notícia? No podem esperar per arribar al Brasil, oi? Explica'ns què has trobat en nosaltres Comentari!
Veja também:
Google Fotos allibera edició d'imatges d'IA gratuïta per a tots els usuaris.
Amb informació de: Objectiu [1], [2] e [3].
Revisat per Glaucon Vital el 18/4/24.
Descobreix més sobre Showmetech
Registra't per rebre les nostres últimes notícies per correu electrònic.
