Coder décoder caractères d'échappement

Vous avez déjà vu des URL avec cette tête ?

https://%61%73%73%69%73%74%65%2e%66%72%65%65%2e%66%72%2f%70%2f%63
%6f%64%65%5f%64%65%63%6f%64%65%2f%64%65%63%6f%64%65%5f%65%63%68
%61%70%70%5f%76%65%72%73%5f%75%74%66%38%2e%70%68%70.

L'URL utilise un codage légitime, mais inhabituel, utilisant des « séquences d'escapes » et appelé « échappement% ».

Avec de tels liens, vous ne savez pas où vous allez atterrir et, comme l'usage d'un tel encodage est complètement inhabituel, on est persuadé qu'il y a quelque chose de caché, à commencer par le nom de domaine contenu dans l'URL et tout le contenu de l'URL. Cette méthode est utilisée par les sites crapuleux, les sites bénéficiaires de spam commerciaux, etc. Le formulaire suivant permet de décoder ces URL. En fait, il permet de décoder n'importe quelle chaîne de caractères codée avec des séquences d'escapes.

Le codage des URL (des liens hypertextes) répond à une syntaxe qui a été voulue, dès le départ, ouverte aux futurs protocoles possibles et imaginables et être utilisable par tous les systèmes déjà existants.

• Une URL débute toujours par un champ qui définit le schéma de nommage dans lequel l'objet référencé se situe. Par convention, ce champ contient donc le nom du protocole, par exemple http, https, ftp, ftps, sftp, gopher, etc.

• Un séparateur (un délimiteur), le caractère « : ».

• La suite de l'URL, suite qui dépend directement de la valeur du premier champ.

C'est donc l'usage de la bonne vieille table de caractères normalisée, la table ASCII (American Standard Code for Information Interchange) qui a été retenu. Cette table est constituée de tous les caractères imprimables (que l'on voit et trouve donc sur un clavier), mais aussi de certains autres, non imprimables et non visibles sur un clavier. Ils sont, traditionnellement, utilisés, par exemple pour donner des ordres de format aux imprimantes « caractère » (sauts de page, sauts de ligne, tabulation, etc.). Leur utilisation est nécessaire, car certains services utilisent ces caractères spéciaux comme éléments du protocole (gopher, par exemple, utilise le caractère « Tab » (%09) comme séparateur de champ).

Le même tableau pour les paresseux :

Le caractère « TAB », par exemple, est, dans cette table, à l'intersection de la ligne 0 et de la colonne 9. Son code ASCII est donc 09.

Ceci est, bien entendu, fonctionnel sur toute la table ASCII. Par exemple, « Papa » pourrait donc s'écrire « 50 61 70 61 », mais il manque quelque chose :

Pour distinguer 50 61 70 61 d'un bête nombre, il a été convenu d'un code dit d'« échappement » qui a été choisi pour être le caractère « % » d'où le nom d'« échappement % ». Lorsque ce code est rencontré, les 2 caractères qui le suivent sont le code ASCII d'un caractère. (Conséquence syntaxique : le caractère % est « interdit » en écriture directe et ne peut s'écrire que %25).

« Papa » pourrait donc s'écrire %50 %61 %70 %61, mais il manque encore quelque chose que la règle syntaxique impose :

• Le caractère « espace » n'est pas admis. Il doit être remplacé, lorsqu'il est requis, par %20 (le caractère « espace » dans la case ligne 2, colonne 0). S'il n'est pas requis, il ne doit pas y en avoir.

Donc, finalement, « Papa » s'écrit %50%61%70%61. Cette manière d'écrire les URL est donc parfaitement légitime bien que totalement « exotique » et consiste à remplacer chaque caractère (d'une URL, d'une chaîne de caractères quelconque...) par son équivalent dans un autre alphabet appelé « échappement % ». Les sites crapuleux et les spammeurs sont les grands utilisateurs de cette méthode de camouflage. Nous pouvons d'ailleurs leur rendre la monnaie de leur pièce et crypter nos adresses e-mail pour éviter leurs robots en utilisant les mêmes outils qu'eux !

Windows, Internet et le codage de certains caractères

Le partage d'informations, sous forme de documents numériques, pose un problème né de la mondialisation des échanges, grâce (ou à cause) de l'émergence du Web sur l'Internet. Il faut faire en sorte que le contenu d'un document numérique puisse être reconnu de manière identique par les systèmes d'exploitation et les applications utilisant des alphabets (des jeux de caractères) totalement différents (oriental, occidental, etc.).

Des codes ont été mis au point pour s'assurer qu'un symbole, dans un système, s'affiche et s'imprime identiquement dans un autre système. Ces codes se sont complexifiés et étendus avec le temps afin de reconnaître de plus en plus de caractères spéciaux propres à des langues de plus en plus nombreuses. Ces codes normalisés ont commencé avec ASCII, EBCDIC, ISO-2022... pour aboutir à Unicode. Evidemment, Microsoft a tenté d'imposer un code exotique qui est invalide et ne sera jamais normalisé.

• Unicode
  Norme de fait - sur-ensemble de ISO/CEI 10646 à laquelle elle correspond caractère par caractère.
  C'est le standard de codage des caractères sur lequel reposent tous les espoirs actuels. Conçu par le consortium Unicode, Unicode est une norme informatique qui vise à donner à tout caractère de n'importe quel système d'écriture de langue un nom et un identifiant numérique, et ce de manière unifiée, quelle que soit la plate-forme informatique ou le logiciel . Il fournit donc une méthode universelle de codage. La première publication sur Unicode remonte à 1991. Il est au cœur de tous les systèmes modernes (Windows, Mac OS, UNIX…), mais n'est pas forcément reconnu/utilisé par toutes les applications. De nouveaux caractères s'y ajoutent encore, par exemple avec le traitement numérique de systèmes (langues et signes) disparus.
  
  

• UTF-8 (RFC 3629) :
  UTF-8 est un codage dérivé de Unicode (UTF = Unicode Transformation Format). Au lieu d'encoder les caractères sur 2 octets, ils le sont de manière variable sur 1 à 4 octets. C'est le codage de base de XML et c'est le plus courant aujourd'hui.
  
  

• ISO-8859-1 (Latin-1; ISO/CEI 8859-1; ISO/IEC 8859-1) :
  Egalement connue sous le nom de Latin-1. Une page HTML déclare utiliser cet encodage avec la balise :
  <meta http-equiv="content-type" content="text/html;charset=iso-8859-1">
  Cette norme code 191 des caractères de l'alphabet latin (plus simplement, cette norme s'est trop rapidement employée à ajouter des caractères accentués au code US-ASCII (et passe complètement à côté des caractères français œ, Œ et Ÿ (et de plusieurs autres en allemand, estonien et finois) qui n'ont pas été inclus car l'employeur de l'un des rédacteurs de la norme, un grand fabricant d'imprimantes, n'avait pas inclus ces caractères dans ses imprimantes). En réalité, ce n'est que le premier de 15 codages (de ISO-8859-1 à ISO-8859-15), chacun englobant tout (ou, parfois, partie) des caractères utilisés dans une région ou une forme de langue : Europe de l'Ouest, du Nord, du Sud, et Centrale, Arabe, Grec, Hébreu, Celte, Thaï.
  
  Notoirement créé rapidement, ISO-8859-1 est très diffusé mais pas idéal. Il faut cependant compter avec lui car il s'agit du codage standard d'UNIX et de nombreux logiciels (dont certains navigateurs et logiciels de courrier), et Unicode en est une extension.
  Les normes ISO-8859-xx ne sont pour autant pas complètes (notamment en ce qui concerne l'extrême-orient), et il est préférable de nos jours de se référer à Unicode ou UTF-8.
  
  La maintenance du code iso-8859-1 est abandonnée depuis juin 2004 au profit de Unicode (et UTF-8 / UTF-16).

1. Voir Caractères interdits dans les URL

   Caractères interdits dans les URL

   
   

2. Voir Tableau de conversions ascii unicode utf-8

   Tableau de conversions ascii unicode utf-8

   
   

3. Voir Tableau universel de conversions des caractères ASCII

   Tableau universel de conversions des caractères ASCII

   
   

4. Voir Coder décoder des caractères d'échappement

   Outil interactif en ligne permettant de coder décoder des caractères d'échappement, voire des textes entiers