L'intelligenza artificiale valuta i siti Web imitando le persone reali e persino li supera. Com'è fatto?

Oggi, uno dei componenti di uKit AI, un sistema di riprogettazione intelligente di siti Web, sta diventando pubblico. È un modulo prototipo per valutare la bellezza delle pagine web. Combina una rete neurale e alberi decisionali per imitare la reazione di un normale visitatore alla progettazione del sito Web.

In futuro, tale modulo valuterà il lavoro dell'algoritmo di progettazione generativa, l'elemento chiave di uKit AI, che progetterà pagine senza coinvolgimento umano basandosi sul contenuto disponibile e sulla "conoscenza" della differenza tra un sito Web non efficace e quello mirava ad aumentare il tasso di conversione.

L'attuale versione di WebScore AI riflette l'opinione di un utente medio di Internet sull'aspetto del sito Web. Tuttavia, possiamo creare altre opzioni, ad esempio, è possibile valutare l'usabilità di un sito Web.

Siti Web utilizzati per la formazione del sistema. Prima di tutto, abbiamo raccolto 12.000 siti e negozi online creati in diversi anni su varie piattaforme e in diverse lingue. Il compito principale era quello di ottenere abbastanza esempi di gradazione visiva, da siti Web piuttosto male a quelli molto buoni. In questo modo, abbiamo mostrato al sistema ciò che può accadere nella rete moderna.

Un paio di siti Web dal campione di formazione.

Ogni gradazione viene misurata con una scala e questa scala dovrebbe essere compresa da una persona normale la cui opinione proviamo a modellare. Quindi, abbiamo avuto un'idea della scala "da 1 a 10", che viene utilizzata nel nostro servizio.

Persone che sono imitate da WebScore AI. Avevamo bisogno di due cose per formare un set di dati (un insieme di dati per un modello di formazione) da una varietà di siti Web:

  • i segni con cui il sistema determinerà se il sito Web è attraente;
  • le valutazioni (marchi) effettuate con l'aiuto della nostra bilancia per un determinato numero di siti Web. Diventeranno un modello per il sistema.

Qualcuno dovrebbe mettere queste valutazioni iniziali. Tale "insegnante", o un gruppo di "insegnanti", per essere più specifici, influenzerà notevolmente il modo in cui il modello funzionerà.

Interfaccia di valutazione dei siti Web: acquisisci e utilizza presto dal nostro GitHub

Per raccogliere un focus group, abbiamo condotto una selezione preliminare di candidati su 1500 esempi di siti Web. Un lavoro di routine, ma responsabile e che richiede grande attenzione. La selezione preliminare ci ha aiutato a eliminare i candidati non idonei e ad escludere dal campione i siti Web "controversi" (quando qualcuno lo valuta come 1 e l'altro come 10).

Inizialmente, abbiamo sperimentato metodi di valutazione.

Ad esempio, ci siamo offerti di valutare un sito Web alla volta, quindi due siti Web contemporaneamente o di sceglierne uno su due, il più interessante. L'approccio in cui l'intervistato ha visto un singolo sito Web e lo ha valutato ha funzionato meglio. Lo abbiamo usato per valutare 10.000 dei siti Web rimanenti.

Una persona ha valutato se un sito Web è bello o meno. Come farà la macchina? Io e te abbiamo solo bisogno di uno sguardo per formare un'opinione sulla bellezza generale di qualcosa. Ma sappiamo che il diavolo è nei dettagli.

I segni visivi di attrattività del sito Web che guideranno il modello sono un momento chiave per l'intero progetto. Abbiamo chiesto una mano al team di progettazione del costruttore di siti Web uKit, il loro lavoro viene utilizzato come base per centinaia di migliaia di siti Web e milioni di persone lo vedono. Insieme abbiamo compilato un elenco esteso di funzionalità a cui i professionisti prestano attenzione durante lo sviluppo di un sito Web. E poi ha cercato di tagliarlo, lasciando solo quelli più importanti.

team di progettazione di uKit.com.

Di conseguenza, abbiamo ottenuto una lista di controllo di 125 criteri abbastanza diversi ma significativi raggruppati in quindici categorie. Ad esempio, l'elenco contiene: adattamento alle schermate più diffuse, varie dimensioni dei caratteri, purezza dei colori, lunghezza dei titoli, proporzione delle immagini sull'intera pagina e così via. Ciò che resta da fare è addestrare il modello utilizzando queste regole.

Crea un algoritmo. Che cos'è esattamente un "modello di insegnamento"? È la costruzione di un algoritmo che si basa su un determinato insieme di caratteristiche e può valutare il sito Web selezionato. È auspicabile che la valutazione del sistema e la valutazione media dell'insegnante condividano un divario minimo nelle loro valutazioni finali.

Abbiamo deciso di utilizzare il metodo di incremento gradiente sugli alberi delle decisioni, perché è uno degli approcci più popolari ed efficaci. Usando algoritmi di base, costruisce un set, il cui risultato complessivo supera i risultati di qualsiasi algoritmo separato.

Inoltre, aggiungendo ogni successivo algoritmo di base, cerca di migliorare la qualità delle risposte dell'intero set.

Per accelerare e semplificare il processo, abbiamo utilizzato la libreria CatBoost di Yandex che consente di creare un booster basato sul gradiente nei cosiddetti "alberi decisionali ignari" garantendo buone capacità di formazione di un modello dall'inizio e una rapida transizione per fornire previsioni (stime ) per nuovi oggetti.

Aggiunta di una rete neurale. Quando l'algoritmo di base era pronto, abbiamo deciso di condurre un esperimento: i risultati miglioreranno se aggiungiamo una rete neurale? In realtà, sapevamo già come "guardare" un sito Web e il suo design, e ora abbiamo deciso di dare al sistema una sorta di "lente d'ingrandimento" che può utilizzare per rivelare ulteriori dettagli.

Abbiamo scelto una delle reti più popolari, resnet50, è noto come un buon algoritmo per l'estrazione di funzionalità di alto livello. E abbiamo imparato come ottenere 1000 attributi aggiuntivi per la valutazione del sito Web. Di conseguenza, il sistema ora caratterizza un URL per il totale di 1125 funzioni e trova la "posizione" del sito Web su una scala di 10 punti. Il processo richiede diverse decine di secondi, per questo motivo consideriamo di accelerare il modello riducendo il numero di segni mantenendo la qualità della valutazione allo stesso livello.

Primi risultati Il modello addestrato in questo modo potrebbe fare stime 3 volte più accurate rispetto a quelle dei singoli "insegnanti".

Possiamo dire che il modello ha superato i suoi primi insegnanti poiché le stime del focus group differiscono da quella media più ampiamente rispetto alla stima della rete neurale. Ora inseriamo l'algoritmo nella rete per ulteriore formazione. E puoi anche diventare il suo insegnante.