Robot Applebot e robot google, superbot che leggono discussioni e profili

[Greyn]

Non mi capitava da anni di svegliarmi nel pieno della notte e restare insonne. Mi collego al nostro forum e mi sorprendo di quanti collegati vi siano, ma quello che più mi sorprende scorrendo l'elenco alla ricerca di forumisti "amici" (che invece buon per loro dormivano tutti o erano impegnati in più gratificianti attività) noto una notevole presenza di "robot applebot", "robot google" ed altri che non ricordo, intenti a leggere sia discussioni che profili utenti.
Tra i forumisti vi è certamente chi potrà spiegare cosa fanno questi robottini, perchè e quali benefici portino col loro lavoro, grazie.

 

[Greyn]

Non solo.... Ma sono in grado anche di allegare foto ai messaggi degli forumisti!!! Sono rientrato ora qui e vedo la foto nel miio post. C'è lo zampino dei moderatori burloni

 

[deronny]

Forse si tratta di utenti “ospiti” non registrati che arrivano sul sito tramite ricerca sui comuni motori (bing, google, etc.) figurando quindi come “robot”… oppure qualcuno sotto mentite spoglie che vuole boicottare il forum… d’altronde nessuno ha mai visto @submale e Googlebot nella stessa stanza… KOMPLOTTOOOOOOOOOO

 

[nicki75]

Avanzo un'ipotesi: non potrebbe trattarsi della normale attività svolta da un motore di ricerca?
Mi spiego: metto un numero su Google per vedere se la tipa è recensita da qualche parte, saltano fuori i link... e poi anche i link delle discussioni su Punterforum con le rece su questo numero di telefono.
A questo punto, potrebbe risultare che Google sta "leggendo" (per così dire) la discussione di quell'esercente che io googlato un attimo prima. Mi sembra plausibile....

 

[kuku86]

Dovrebbero essere i crawler dei vari motori di ricerca che regolarmente 'passano' tutto internet e ne indicizzano i contenuti per poter essere trovati tramite una ricerca con keyword/immagini.

Gestiscono i risultati di ricerca 'naturali' per le varie pagine web e la visibilità stessa delle pagine (è possibile -in certi casi consigliabile- avere pagine web non indicizzate dai motori di ricerca, per motivi vari).

Per merito loro poi quando ricerco ad esempio 'hotel rimini' su google trovo i risultati che trovo.. almeno per la parte naturale, in realtà il discorso diventa molto più complesso con l'esistenza di annunci a pagamento (Ad Sense x google).. ma questa è un'altra storia.

Normale attività dei motori di ricerca, comunque... poi perchè venga mostrato esplicitamente non so, ma è una cosa succede più volte tutti i giorni su tutte le pagine web esistenti.. beh non proprio tutte (Dark web/internet non indicizzato.. etc. )

 

[Neurus]

Che cos'è Googlebot | Centro Ricerca Google | Documentazione | Google Developers

Googlebot è il nome generico del web crawler di Google. Scopri cos'è Googlebot, come accede al tuo sito e cosa puoi dare per bloccarlo.

developers.google.com

 

[Dr.Grunf]

Crawler - Wikipedia

it.wikipedia.org

 

[Greyn]

Forse si tratta di utenti “ospiti” non registrati che arrivano sul sito tramite ricerca sui comuni motori (bing, google, etc.) figurando quindi come “robot”… oppure qualcuno sotto mentite spoglie che vuole boicottare il forum… d’altronde nessuno ha mai visto @submale e Googlebot nella stessa stanza… KOMPLOTTOOOOOOOOOO

Escludo si tratti di ospiti non registrati, perchè comparivano numerosi nell'elenco anche "ospite"...

 

[samuelbb]

la privacy, questa sconosciuta ai non "comuni mortali"...

 

[Dr.Grunf]

Davvero c'è una relazione tra riservatezza del dato e l'indicizzazione di una pagina web pubblica?
Insomma se, ad esempio, la pagina non rispetta GDPR non è certo a causa dei meccanismi di ranking.
Nel caso fosse, se non vuoi l'indicizzazione del tuo sito basta una semplicissima modifica al file robots.txt

 

[antonio69trip]

@Dr.Grunf che bello trovare un conoscitore di Apache
Era parecchi anni anzi lustri che non sentivo quel nome chissà se c'è ancora
Comunque qua credo sia essenziale indicizzare le discussioni per la ricerca interna altra cosa sarebbe se leggesse i profili e magari le reazioni degli utenti

 

[Dr.Grunf]

- Beh, secondo una statistica di qualche anno fa Apache era usato da più della metà dei domini italiani registrati (dunque pare ancora piuttosto arzillo)

Statistiche internet in italiano centroli.it

Abbiamo creato delle statistiche comprensive riguardo l'internet in italiano. Noi trattiamo più di 20 parametri come i server web più popolari, i server NS o i certificati SSL.

web.archive.org

- la sintassi del file robots.txt è uno standard che prescinde dalle specificità di Apache

 

[Power]

I motori di ricerca usano crawler (bot) per raccogliere informazioni dai siti che sono indicizzati.

Il forum e' indicizzato.

Ma il forum ha anche delle restrizioni in lettura per gli ospiti esterni (vi ricordate che vi dovete almeno registrare per leggere le discussioni?)

Ecco che ai crawler devono essere assegnate delle utenze "di servizio" per razzolare regolarmente dentro il forum.

E' tutto normale.

E' talmente normale che i software usati per tenere in piedi i forum le prevedono di ufficio.

E aggiungo che magari i bot meglio che rastrellano il forum di notte quando ci sono meno utenti collegati e quindi creando meno carico sui server e che i contenuti sono piu' stabili dopo che di giorno i moderatori hanno fatto ordine, per evitare che vengano indicizzate pagine a cazzo.

 

[submale]

Ricordo i bei tempi in cui I forum non erano indicizzati e si scriveva di tutto al limite del consentito. Poi l’apertura agli spider e il rischio querela quindi uno stile di scrittura più cauto e sobrio. Una volta una otr piombo’ qui dando dell’ impotente a @lucullo perche aveva osato scrivere che gli aveva rigato il cazzo con i denti 😂 prima col cazzo che la otr avrebbe trovato la sua recensione cercando il proprio numero su google, sono cambiamenti epocali, maledetti crawler 😳

 

[Power]

No, no, maledetti denti durante i pompini!