自然

Fin du projet

2008-01-10T17:32:00.000-08:00

Ça y est. Le projet est fini.
Le compte rendu final peut être consulté aux adresses suivantes :

http://pierre.inalco.free.fr/shizen/index.html

http://tal.univ-paris3.fr/plurital/travaux-2007-2008/...

A bientôt, pour de nouvelles aventures!

script.sh: amélioration

2007-12-17T09:18:00.000-08:00

A partir des noms des fichiers d'URL, le script crée différents répertoires et y enregistre les pages aspirées, les dumps, les contextes.
Seulement voilà : ces noms de fichiers sont utilisés tels quels, avec leurs extensions, et nous nous retrouvons avec des répertoires "quelque_chose.txt" dans notre arborescence.
Pour remédier à ce problème, nous allons utiliser la commande basename avec la syntaxe suivante:

fic2=$(basename $fic .txt)

Nous allons ensuite utiliser la chaine de caractères stockée dans la variable $fic2 pour nommer nos répertoires:

mkdir ./pg_aspirees/$fic2

minigrepmultilingue 1.0

2007-11-30T06:32:00.000-08:00

La dernière étape de notre projet (avant la mise en forme finale) consiste à extraire de nos fichiers dump, un motif et son contexte. Pour un texte en français ou en anglais la commande egrep aurait suffit, mais pour du japonais et du chinois, il nous fallait un équivalent supportant Unicode.
Nous nous sommes donc tournés vers minigrepmultilingue 1.0, parfait pour ce que nous avons à faire.

i. préparation

Télécharger et décompresser minigrepmultilingue.zip (c'est l'archive contenant le script et le module Unicode-String-2.09) dans un répertoire que nous appellerons "minigrepmultilingue".

Démarrer le gestionnaire de paquets de Cygwin (setup) et vérifier que make et gcc sont bien installés (ils se trouvent dans la catégorie Devel).

Sous Cygwin, se placer dans le repertoire "minigrepmultilingue" et décompresser le module Unicode-String-2.09 :

tar xzf Unicode-String-2.09.tar.gz

ii. compilation

aller dans le dossier du module Unicode-String-2.09 et lancer le script Makefile.PL :

lancer la commande make

et enfin make test

iii. installation

pour l'installation, rien de très compliqué, il suffit juste de taper: make install

iv. test

Pour s'assurer que tout s'est passé correctement, rien de tel qu'un petit test. Selon l'exemple fourni avec le script nous allons chercher le motif основных dans le fichier RU_Convention_UTF8.txt :

perl mini-grep-multilingue.pl "UTF-8" RU_Convention_UTF8.txt motif.txt

En sortie nous avons un fichier html, ca marche!

Pour plus d'informations: http://www.cavi.univ-paris3.fr/ilpga/ilpga/...

lynx -dump

2007-11-30T05:35:00.000-08:00

Une fois nos pages aspirées avec wget, nous devons en extraire le texte.
Pour ce faire nous allons utiliser l'option dump de lynx
La syntaxe est la suivante:

lynx -dump [URL] > [dump].txt

w3m, un autre navigateur internet en mode texte, permet de faire la même opération. Mais attention! w3m gérant les frames il arrive que le fichier dump en sortie soit incompréhensible (des morceaux de textes de différentes parties de la page pouvant être mélangés).

%0D?

2007-11-16T02:02:00.000-08:00

Mettre wget dans un script BASh devait permettre d'automatiser la tâche d'aspiration de mes pages. J'ai écrit un script qui parcourt chaque ligne (donc adresse) du fichier d'URL, extrait chacune des pages à l'aide de wget et, dans un tableau nouvellement créé, donne un lien vers la page online et un autre vers la page aspirée.
Tout allait pour le mieux dans le meilleur des mondes jusqu'à ce que je me rende compte que script.sh (c'est son petit nom) ne faisait pas ce que je lui avais demandé:

Que se passe t-il? J'ai beau vérifier mon script encore et encore, le réécrire de A à Z, essayer avec différents fichiers d'URL... wget n'arrive pas à trouver les pages que je lui demande d'aspirer.
Mais alors que je regarde ma fenêtre Cygwin d'un peu plus près, je remarque que les URL qui apparaissent dans mon script se terminent toutes par %0D... %0D! Ce serait pas un caractère de contrôle ça? Comme celui qui permet de faire un retour chariot? Je vérifie à nouveau le fichier texte contenant mes URL: comme je m'en doutais, %0D n'apparait nul part.

Tout devient clair! Les retours à la ligne de mes fichiers textes (tapés sous Windows XP) sont interprétés différemment par Cygwin (qui émule un système UNIX). Notepad++, entre autres, permet de régler ce problème en un seul click:

Je peux maintenant relancer mon script et constater avec satisfaction que le problème est résolu:

自然 pour exprimer la spontanéité

2007-11-14T13:07:00.000-08:00

URL_25: http://golf.nikkei.co.jp/...
URL_26: http://sweetacorn.blog108.fc2.com/...
URL_27: http://contents.innolife.net/...
URL_28: http://www.city.takashima.shiga.jp/...

Fichier texte contenant les URL: 05_spontaneite.txt
Pages aspirées avec wget: <05_spontaneite>

自然 pour exprimer un enchaînement logique

2007-11-14T12:26:00.000-08:00

URL_21: http://www.orsj.or.jp/~wiki/...
URL_22: http://blog.livedoor.jp/...
URL_23: http://bizplus.nikkei.co.jp/...
URL_24: http://www.toonippo.co.jp/news_kyo/...

Fichier texte contenant les URL: 04_enchainement_logique.txt
Pages aspirées avec wget: <04_enchainement_logique>

自然 pour désigner des forces spirituelles

2007-11-11T05:18:00.000-08:00

URL_18: http://www.posteios.com/...
URL_19: http://blog.livedoor.jp/niida55/...
URL_20: http://www.junkudo.co.jp/...

Fichier texte contenant les URL: 03_forces_spirituelles.txt
Pages aspirées avec wget: <03_forces_spirituelles>

自然 pour désigner l'état brut, sauvage de quelque chose

2007-11-07T14:09:00.000-08:00

URL_11: http://www.netsea.jp/shop/...
URL_12: http://www.ne.jp/asahi/...
URL_13: http://sumai.nikkei.co.jp/special/...
URL_14: http://www.geocities.jp/omorigold/...
URL_15: http://www.h5.dion.ne.jp/...
URL_16: http://www.nikkei.co.jp/china/...
URL_17: http://sumai.nikkei.co.jp/...

Fichier texte contenant les URL: 02_brut_sauvage.txt
Pages aspirées avec wget: <02_brut_sauvage>

自然 pour désigner notre écosystème

2007-11-01T09:03:00.000-07:00

URL_01: http://mytown.asahi.com/...
URL_02: http://waga.nikkei.co.jp/...
URL_03: http://www.akita-kenmin.jp/...
URL_04: http://www.town.hayakawa.yamanashi.jp/...
URL_05: http://www.peopledaily.co.jp/...
URL_06: http://mytown.asahi.com/...
URL_07: http://www.pref.okinawa.jp/...
URL_08: http://www3.ic-net.or.jp/...
URL_09: http://sumai.nikkei.co.jp/...
URL_10: http://mytown.asahi.com/...

Fichier texte contenant les URL: 01_ecosysteme.txt
Pages aspirées avec wget: <01_ecosysteme>

Définition Wikipédia Japon

2007-10-30T14:27:00.000-07:00

自然（しぜん）には次のような意味がある。

人間の作為が加わっていない、あるがままの状態、現象、およびそれによる生成物。
1の意味より、山、川、海など。
1の意味より、「人間を除く」自然物および生物全般のこと。
1の意味より、「ヒトも含めた[1]」天地・宇宙の万物のこと
意識（意図）しない行動。本能による現象、行動のこと。

[1] 「生物としてのヒト」は人工物ではない、という考え方より

[suite]

De la concaténation de deux pages web

2007-10-28T10:18:00.000-07:00

En fouillant un peu dans la documentation de wget, nous sommes tombés sur l'option -O, qui permet d'enregistrer toutes les pages aspirées dans un seul fichier html.

wget -i [fichier texte contenant les URL] -O [fichier html de sortie]

Cette concaténation peut donner des résultats intéressants, comme en témoigne l'exemple ci-dessous.

En entrée:

URL_1: japonais (JAP-EUC)

URL_2: japonais (Shift_JIS)

En sortie:

URL_3: une page web en japonais avec deux codages différents.

wget, va chercher!

2007-10-25T08:03:00.000-07:00

Après avoir créé un fichier texte contenant les URL (et seulement ces URL) des pages qui nous intéressent nous pouvons passer à l'étape qui consiste à "aspirer" ces mêmes pages. Nous allons pour ce faire utiliser la commande/aspirateur wget.

Deux méthodes:

Pour aspirer manuellement les pages, l'une après l'autre (il faut le vouloir), la syntaxe est la suivante:
wget [URL]

Pour aspirer toutes les pages d'une seule ligne de commande:
wget -i [fichier texte contenant les URL]

*à noter que les pages extraites sont enregistrées dans le repertoire courant.

Définition Gendai Shinkokugojiten (Gakken)

2007-10-22T12:41:00.000-07:00

し・ぜん【自然】

《名》①人間の手を加えない、そのもののありのままの状態。天然。「いつまでも―の姿を保っている原野」「―の驚異」「―を愛する」　類　原始。造化。万物。万象。万有。森羅万象。山川草木。花鳥風月。②人や物に本来そなわっている性質。

《形動》①ありのままであるようす。むりがないようす。「―な動き」②ひとりでにそうなるようす。おのずと。「―に戸が開く」「―に体がよくなる」

《副》ひとりでに。おのずと。「―、笑みがこぼれる」

学研　現代新国語辞典

Le blog est ouvert

2007-10-22T11:07:00.000-07:00

...