Flux RSS - La vie du site - Nouveautés et mises à jour
Assiste.com - Sécurité informatique - Vie privée sur le Web - Neutralité d'Internet Assiste.com - Sécurité informatique - Vie privée sur le Web - Neutralité d'Internet

crawler : Moteur de recherche menteur

28.09.2020 - crawler - Moteur de recherche

crawler - Moteur de recherche menteur - Lousy Search Engine

En savoir plus sur crawler.com (crawler)

Avec sa barre d'outils, il se substitue aux moteurs de recherche légitimes et Hijack les navigateurs. Ce moteur de recherche est, purement et simplement, une malveillance qui doit être éliminée (Procédure gratuite de décontamination anti-malwares).

crawler - « Moteurs de recherche » vs « Métamoteurs de recherche »

Les métamoteurs ne sont pas des moteurs de recherche (ils ne disposent pas de leurs propres index), mais des outils relançant vos recherches vers les moteurs traditionnels (Google, Bing, etc.), puis agrégeant et dédoublonnant les résultats, et vous les présentant. Le but est de se faire des revenus, publicitaires ou d'affiliation avec des e-commerces, en exploitant le travail des autres. Lorsque les Google, Bing, etc. s'en aperçoivent (arrivent à les identifier malgré leurs précautions de furtivité), ils ne fournissent plus de résultats à ces métamoteurs qui disparaissent. Certains peuvent consulter les moteurs traditionnels après avoir anonymisé vos requêtes (en passant par des proxys...). Dès que les fournisseurs (Google, Bing, etc.) auront trouvé la source de ces requêtes, ils ne fourniront plus de résultats et les métamoteurs comme DuckDuckGo disparaîtront.

crawler - « Moteurs de recherche » vs « Métamoteurs de recherche »

Les moteurs de recherche trompeurs et menteurs sont de faux moteurs de recherche dont l'ensemble des résultats apparaissant dans les premières pages n'ont rien de « naturel » et dirigent vers des sites appartenant à l'auteur du moteur de recherche menteur ou avec lesquels il a des relations et intérêts (commerciaux, financiers, crapuleux, idéologiques, etc. ...).

Les moteurs de recherche imposés par certains gouvernements, qui bloquent l'utilisation des moteurs de recherches génériques ou leur interdisent de montrer certains résultats, font partie des moteurs de recherche trompeurs et menteurs.

L'intérêt d'un moteur de recherche est stratégique, dans tous les domaines, à tel point que de nombreuses réflexions ont lieu, dans tous les pays, pour disposer d'un moteur de recherche souverain. Le moteur de recherche est le point d'entrée sur le Web, c'est la fenêtre sur le Web (et c'est un objet de pouvoir du premier cercle). L'argent, le pouvoir, l'idéologie... sont des intérêts majeurs aux yeux de beaucoup : les pays hyper capitalistes masqués sous un pseudo communisme (Chine, Corée du Nord, etc. ...), les dictatures (Afrique, Moyen-Orient, etc. ...), les sectes, les mouvements terroristes, etc. ... et les cybercriminels.

Article complet sur les moteurs de recherche trompeurs et menteurs.

crawler - Moteurs de confiance ou moteurs menteurs

Les moteurs de recherche conservent toutes les traces de la navigation WEB de chaque internaute du monde, entre autres en collectionnant les requêtes mais aussi avec une foule d'outils, gratuits ou non, qu'utilisent les Webmasters dans leurs sites WEB, jetant ainsi tous leurs visiteurs dans les rets de ces espions (par exemple les WEB-Bug (hit parade des utilisateurs de WEB-Bug), les filtres du WEB (Google Safe Browsing, Microsoft SmartScreen, etc.) incérés nativement dans les navigateurs WEB, les outils de statistiques utilisés par tous les sites WEB dont, principalement, ceux de Google (Google Analytics, Google JSAPI Stats Collection, Google Trusted Stores, Google Website Optimizer), etc. et une foule de services (principe d'encerclement). Ce type d'espionnage est défendu becs et ongles, car il permet de personnaliser les publicités affichées (la publicité est le modèle économique d'un Web gratuit - sans publicité, les sites non marchands [les sites de contenu, comme Assiste.com] disparaissent ou entre dans un modèle payant).

Il n'y a pas que la construction des clickstream (« Flux de clics ») qui galvanise la révolte des internautes désireux de protéger leurs vies privées.

crawler - Obliger au respect de notre vie privée (cookies, Opt-Out, RGPD, etc.)

En Europe, dans tous les 27 pays de l'Union, depuis le 5 mai 2018, le RGPD (Règlement Général sur la Protection des Données) impose à tous les sites WEB, avec extraterritorialité (applicable à tous les opérateurs WEB du monde, quelque soit leur pays, entrant en relation avec des internautes des pays européens) d'offrir à leurs visiteurs/utilisateurs :

Le règlement a été adopté le 27 avril 2016. Les sites WEB ont donc eu une période de transition de plus de 2 ans pour développer et offrir ce choix. Il y a des résistances, car la publicité est le modèle économique du WEB et la publicité ciblée, grâce à l'analyse de votre comportement, est plus efficace (plus rémunératrice) que la publicité non ciblée (la publicité numérique représente des centaines de milliards d'euros et le commerce des données privées espionnées/collectées également).

Nota :

Les annonceurs publicitaires et autres traqueurs ne sont pas en relation directe avec les sites WEB. Ils confient ce travail et leurs budgets à une régie publicitaire à laquelle ils adhèrent (des alliances professionnelles).

Il y a donc deux approches pour se conformer au RGPD :

  1. Ceux qui s'y conforment de manière compliquée en recommandant, dans des pages d'explications invraisemblablement longues et incompréhensibles, l'usage des Opt-Out par les alliances professionnelles des régies publicitaires et autres traqueurs(qui ne fonctionnent pas souvent et sont sujets à désactivation dès que l'internaute vire ses cookies).
  2. Ceux qui s'y conforment de manière simple et instantanée avec des solutions comme :

Les moteurs de recherche sont, avec les réseaux sociaux, les plus puissants espions des personnes physiques au monde et les membres du premier cercle du pouvoir sur le WEB.

  1. Utilisez toujours les outils d'Opt-Out des alliances, qu'il y ait ou non, pour chaque site visité, une solution simple
  2. Compléter par notre procédure de protection du navigateur, de la navigation, et de la vie privée.
crawler - Gestion du RGPD (le règlement européen) par les moteurs de recherche

Les navigateurs WEB peuvent, à leur lancement, s'ouvrir sur une page WEB quelconque (au choix de l'utilisateur). Par défaut, la page WEB de démarrage du navigateur WEB est celle d'un moteur de recherche. Il finit par y avoir confusion entre navigateurs WEB et moteurs de recherche sur le WEB.

crawler - Ne pas confondre Navigateur Web et Moteur de recherche
  • Utilisez les sitemap, n'attendez pas les crawler (mais, à partir du moment où en commence à utiliser les sitemap, il ne faut plus les laisser en sommeil car le crawler cesse pratiquement de visiter le site).
  • Déclarez le chemin d'accès à votre sitemap dans le fichier robots.txt
  • Utilisez les flux RSS
  • Utilisez les propriétés Open Graph
  • L'URL de chaque page devrait contenir des mots-clés du contenu de la page
  • La balise title devrait contenir plus de 40 caractères et, au maximum, 65 caractères (espaces compris), avec des mots-clés
  • La balise meta description devrait contenir plus de 100 caractères et, au maximum, 200 caractères (espaces compris), avec des mots-clés
  • La balise meta keywords est totalement abandonnée et ignorée par tous les moteurs de recherche à cause du bourrage de mots-clés (Stuffing keywords). Déjà, en 2003, presque plus aucun moteur ne les lisait (voir mon ancien tableau de 2003 à http://terroirs.denfrance.free.fr/p/webmaster/comparatif_moteurs.html.
  • Une balise H1 devrait commencer chaque page et avoir un maximum de 55 caractères (espaces compris)
  • Jamais de contenu dupliqué (DC - Duplicate content). Si deux pages ont le même contenu avec des URL différentes, utilisez une redirection permanente (301) de l'une sur l'autre ou, à la rigueur, la balise canonical
  • Jamais de fermes de liens, c'est le meilleur moyen, non pas d'être renvoyé dans le fond des classements, mais d'être purement et simplement banni du référencement (adieu le site sous son nom de domaine actuel). Voir également les fermes de contenu.
  • Jamais de plagiat. Il y a des outils automatiques de recherche de plagiat et les moteurs de recherche savent s'en servir. Voir Recherches de plagiats et copieurs.
  • Jamais de cloaking - c'est le déréférencement direct
  • Jamais de bricolage (boucles temporisées, clics automatiques, etc.) pour augmenter les stats ou les revenus. C'est détecté et, non seulement le site est banni, mais les revenus sont confisqués.
  • Avoir un certificat SSL
  • Etc.
crawler - SEO - Search Engine Optimization

Outils d'investigations


#Ailleurs sur le Web#