The SyndARn Space

SyndARn 2.2.2

Mon, 23 Jun 2008 09:58:28 GMT

SyndARn 2.2.2

Une nouvelle version de SyndARn est disponible ici : SyndARn Web Site.

Cette version est une version complète de SyndARn intégrant le moteur SQLite et les plus récentes corrections, notamment celles liées à l'activité réseau.

Catégories et Chaînes

Wed, 28 May 2008 08:51:04 GMT

Plusieurs catégories et plusieurs chaînes

Dans SyndARn, jusqu'à présent, il n'était possible que de disposer d'une catégorie ou d'une chaîne à la fois pour le filtrage des résultats. Cette restriction permettait une interface simplifiée, linéaire, mais était néanmoins une restriction.

Dans la version à venir de SyndARn, SyndARn 2.2.2, nous avons levé cette restriction en mettant en place un système de requête personnalisée.

Une requête personnalisée permet grâce à un Wizard assez simple de choisir une ou des catégories, une ou des chaînes et un filtre pour concevoir en quelques clics une requête spécifique. Le même processus a été étendue aux requêtes par défaut, et permet par exemple de filtrer les résultats sur quelques catégories précises.

Cette version de SyndARn, la 2.2.2, sera disponible en téléchargement d'ici quelques jours.

SyndARn et statistiques ...

Mon, 14 Apr 2008 15:42:26 GMT

SyndARn et statistiques ...

J'utilise SyndARn pour mes besoins personnels : il parcourt tous les jours quelques choses comme 400 flux.
Avec un simple petit graphique d'utilisation, on obtient la figure suivante :

Ce graphique représente la quantité de noeuds chargés par jour sur 2 mois environ. Les creux représentent les week-end ! Où si vous préférez même les flux RSS sont aux 35 heures !

Parler directement à SQLite

Thu, 10 Apr 2008 13:04:46 GMT

Composants, Delphi et SQLite

En utilisant Delphi et SQLite pour développer SyndARn, je suis tombé sur l'absence de composant intégré permettant à Delphi de communiquer avec SQLite via une des architectures usuelles (BDE, ADO, dbExpress). Il existe bien des composants plus ou moins bien faits, plus ou moins payants venant de tierces parties, mais rien d'intégré directement et livré avec.

Ceci m'a conduit à développer mes propres composants, rien d'extraordinaire mais largement suffisant pour ce que je voulais faire.

A ce propos, l'idée directrice a été de communiquer avec SQLite, et non pas d'implémenter un TDataset compatible SQLite. Cette idée vient des quelques remarques sur l'optimisation de SQLite sitée ici : http://www.sqlite.org/cvstrac/wiki?p=PerformanceTuningWindows et notamment le paragraphe "One: Talk to the SQLite directly ".

Les composants utilisés sont disponibles ici : http://www.syndarn.com/sqliteanddelphi.htm avec sources.

Référencer avec du RSS

Mon, 07 Apr 2008 10:35:19 GMT

SyndARn est un aggrégateur de flux RSS

Et tout compte fait un flux RSS, c'est surtout une listes de liens vers des pages WEB.

Et une liste de liens vers de pages WEB, c'est aussi une sitemap.

Tout cela pour parler de référencement.

Un des outils du référencement( outil gratuit s'entend) c'est d'alimenter les moteurs de recherche (yahoo, google, etc ...) en listes de pages web : celles du site que l'on veut référencer. Pour faire cela on dispose de siteexplorer sur yahoo et de webmaster/tools sur google.

Pour ces deux moteurs, on peut très bien les alimenter en sitemap, et générer une sitemap n'est pas bien complexe. On peut aussi alimenter yahoo directement avec un flux RSS, je n'ai pas vu la même possibilité sur google.

Pourquoi préférer un flux RSS ? Parce que la plupart des produits de CMS un peu récents intègrent déjà la possibilité d'émettre un flux RSS, c'est le cas ici par exemple pour ce blog. Alors que la génération de sitemap demande le plus souvent le passage par un générateur externe (dont certains sont gratuits).

En somme, référencer le moindre blog dans yahoo consiste simplement à donner à yahoo siteexplorer l'adresse du lien RSS du blog ! C'est simple et efficace, et il n'y a pas directement, ou je n'ai pas trouvé dans google siteexplorer, de possibilités équivalentes.

Quelques liens :

SyndARn

site : http://www.syndarn.com

sitemap : http://www.syndarn.com/sitemap.html

rss : http://www.syndarn.com/rsssyndarn.xml

The SyndARn Space :

site : http://syndarn.spaces.live.com

rss : http://syndarn.spaces.live.com/feed.rss

Yahoo, site explorer : il vous faut être connecté avec un compte yahoo

https://siteexplorer.search.yahoo.com/

Google, webmaster/tools : il vous faut être connecté avec un compte google

https://www.google.com/webmasters/tools/

Composants pour Delphi/SQLite

Thu, 03 Apr 2008 14:46:23 GMT

SyndARnSQLite components

SyndARn utilise SQLite, et SQLite est OpenSource. Dans cette logique, les principaux composants qui nous permettent de lier SyndARn à SQLite sont mis à libre disposition ici :

http://www.syndarn.com
http://www.syndarn.net

et plus précisémment sur la page suivante :

http://www.syndarn.com/sqliteanddelphi.htm

Aucun support n'est fourni, sauf peut-être quelques réponses aux questions via le forum http://forum.syndarn.com

SyndARn, version 2.0.0

Mon, 31 Mar 2008 21:23:03 GMT

SyndARn 2.0.0

C'est donc la nouvelle version de SyndARn mise en ligne aujourd'hui. Cette version se caractérise par :

- un support de SQLite pour le stockage des données

- la possibilité d'enregistrer les pages web des flux pour une consultation offline

- une interface utilisateur améliorée (recherche et chargement plus facile)

Tout se trouve : http://www.syndarn.com ici !

ET si besoin, les questions-réponses sont possibles ici : http://forum.syndarn.com

Service Pack 1 (2)

Thu, 20 Mar 2008 14:43:31 GMT

Ok,

Service Pack 1 installé sans difficulté, tout automatique via Windows Update, c'est long (2 heures environ) mais çà marche.

Comme quoi...

Service Pack 1

Wed, 19 Mar 2008 12:24:15 GMT

Vista et Service Pack 1

SyndARn marche sur les plate-formes suivantes :

- XP

- 2000/2003

- VISTA

Ce matin, je lis dans un des liens de SyndARn : http://www.zdnet.fr/galerie-image/0,50018840,39375803,00.htm

Donc, je m'apprête à entreprendre cette migration avec quelques précautions :

- on nettoie tout (nettoyage système)

- on fait de la place (non, je n'ai plus besoin de la 50 e archive des sources datée d'il y a deux ans ...)

- on sauvegarde sur un support externe (disque USB, c'est bien)

- on reboot une fois pour la forme

- on désactive l'AV le temps de la mise à jour

ET c'est parti.

Aucune idée du temps que çà prendra, on verra bien !

SyndARn et SQLITE

Thu, 17 Jan 2008 14:30:15 GMT

SyndARn, SQLITE et toutes sortes de choses

SyndARn actuellement

Bien, SyndARn dans sa forme actuelle est a peu près au bout de ses possibilités. Avec un maximum de 500 flux différents stockés localement sous la forme de fichier XML, c'est 500 flux à lire ou à écrire à chaque ouverture, et avec beaucoup d'optimisation, j'ai du mal à descendre en-dessous de la minute.

Donc une autre approche s'impose pour le stockage, un stockage SGBD, par exemple et au hasard.

Et puis, en termes d'architecture, SyndARn est relativement monolithique pour l'instant, interface, moteur XML et stockage dans une même structure.

Il va falloir trier tout çà.

SQLITE

Donc, dans l'idée de trouver quelque chose comme un SGBDR pour SyndARn, je suis tombé sur SQLite, et un début d'interface avec Delphi.

Cà fonctionne, et même suffisamment pour envisager plus.

Au passage, c'est un élément open source supplémentaire dans SyndARn. Amusant, non ?

Forum SyndARn

Thu, 06 Dec 2007 09:10:14 GMT

Forum SyndARn

J'ai déjà parlé du forum SyndARn.
En voici les principales URL :

le forum SyndARn

le flux RSS du forum SyndARn

le même flux en Atom

Pour rappel :

le site principal
quelques pages en Français

Un forum pour SyndARn

Thu, 29 Nov 2007 15:37:58 GMT

Un forum pour SyndARn

Je ne sais pas si j'en ai parlé précédemment, mais SyndARn dispose en plus de son site bien à lui d'un forum qui lui est réservé.
Autrement dit, on peut grâce à ce forum parler de support technique ou autre.
Bien évidemment, le forum dispose de son propre flux, RSS ou ATOM c'est selon.

Log, journalisation, débogage et threads.

Fri, 23 Nov 2007 10:33:00 GMT

Log et SyndARn

SyndARn est écrit en Delphi, je l'ai déjà dit.
SyndARn est multi-thread, ce qui permet de lire plusieurs flux RSS en même temps.
Un des problèmes rencontrés est lié au débogage des threads, à la trace du programme si vous préférez. L'utilisation de ShowMessage n'est pas compatible avec le mode multi-thread, et l'emploi d'un log doit permettre la compatibilité avec les threads.

La classe cLog

Pour résoudre cela, on utilise une classe spécifique cLog, qui reste compatible avec les threads et dont la fonction principale est l'écriture dans un fichier texte. Le fichier est ouvert et fermé à chaque utilisation, en utilisant Append.
La classe ressemble à ceci :
type
cLog = class
    private
      fLogFileName : widestring ;
      fLogFile : textfile ;
      fCritik : TCriticalSection ;
    protected
      constructor Create ;
    public
      class procedure Mess(dataToLog : widestring) ;
      destructor Destroy ; override ;
    end ;
et le code principal de Mess à :

fCritik.Acquire ;
  try
    DateTimeToString(s,'yyyy/mm/dd hh:nn:ss:zzz',Now);
    Append(fLogFile) ;
    Writeln(fLogFile,s+' - '+dataToLog) ;
    CloseFile(fLogFile) ;
   finally
    fLog.fCritik.Release ;
  end ;

Pour ajouter quelque chose au journal, depuis n'importe où, n'importe quel thread, c'est :

cLog.Mess('Mon message') ;

Voilà !

Lecture XML et mémoire.

Thu, 22 Nov 2007 14:12:33 GMT

Lecture XML et mémoire.

Dans SyndARn, la première chose c'est tout de même de lire des fichiers XML. Et même de les lire en arrière-plan (Thread). Pour cela, Delphi fournit un certain nombre d'objets, fonctions, classes pour commencer.

Dans Delphi.

Dans Delphi est fourni le logiciel nécessaire pour lire ces fameux flux XML : tout est dans la notion d'interface et on utilise IXMLDocument pour lire ou écrire un fichier XML, et IXMLNode pour le parcourir. Cà fonctionne bien, çà utilise gentiment le moteur d'IE, MSXML dans ses diverses versions, c'est gros, long et parfois poussif parce que pour que tout çà fonctionne, la machine ActiveX doit se mette en route. Et çà coûte 500 Ko de vive par Thread minimum, le prix de l'Active X à activer.
Et çà laisse plein de trous dans la mémoire, la libération de la mémoire est parfois surprenante, etc ...
Mais bon, ceci mis à part, c'est fiable, çà gère correctement l'encodage UTF-8 et si vous avez une erreur dans le flux, elle est facilement détectable, ce sera la même qu'à l'affichage directement dans IE.
Et en plus de Delphi.

On peut penser à regarder un petit peu comment cela fonctionne. Et c'est simple : un objet par élément (tag, texte, attribut ...). Un IXMLNode par attribut. C'est normal, çà correspond à l'implémentation DOM : on charge tout en mémoire, on instancie la représentation du graphe du document XML par un objet Graphe, contenant des objets noeuds.
Oui mais, les objets noeuds ne sont réellement créés que lorsqu'on les appelle via leur interface (GetFirstChild, GetAttrNode, ...). Parfois, il faut tester la présence de l'objet (il ne doit pas être nil) avant de poursuivre ... par exemple, sur un appel à un élément texte, il vaut mieux que l'objet visé en contienne au moins un.
Donc dans SyndARn

C'est également partiellement ce qu'on utilise dans SyndARn. Je dis bien partiellement, parce que pour des raisons de performance, on s'en est débarrassé pour la sauvegarde et l'enregistrement des flux en local.
Pour la sauvegarde et l'enregistrement des flux en local, SyndARn utilise son propre code. En fait, on charge à nouveau le document en mémoire dans un 'gros buffer', et puis on analyse ce buffer et on stocke le résultat de cette analyse dans une liste. Plus d'objet pour chaque noeud, un seul objet passablement dynamique, plus d'ActiveX à instancier, et quelques entiers à stocker.
Le résultat est immensément plus rapide et moins gourmand, au prix de la généricité (c'est pas fait pour tous les documents XML ...). SyndARn version 1.2.1 est la première version à en disposer.

Fenêtre principale

Thu, 22 Nov 2007 13:56:07 GMT

SyndARn et photo d'écran

La fenêtre principale de SyndARn.

Catégories, tag, tri et mise à jour

Wed, 21 Nov 2007 12:51:53 GMT

Catégories

Une catégorie, c'est un élément d'un classement. Il en faut plusieurs pour pouvoir être utiles. Lesquelles ? Peu importe en fait, tout l'art des catégories, c'est qu'on peut créer les catégories que l'on veut.

Dans SyndARn, une des idées de départ était de dire : un tag = une catégorie.

Tag et RSS ?

Un tag c'est quoi ? C'est un mot-clef inséré dans le champ "Category" d'une chaîne RSS ou d'un de ses éléments. C'est évident dans un format RSS 2.0, et les équivalents existent pour les autres formats.

Et dans SyndARn ?

On dispose dans le moteur de recherche des critères de sélection par catégorie.

Et alors ?

J'ai perdu un temps fou à pouvoir rendre cela utilisable sans trop de lenteur. Pourquoi ? Parce qu'avec 300 flux et plus, je me suis retrouvé avec plus de 1500 catégories différentes !
La toute dernière version de SyndARn dispose maintenant d'une fenêtre de sélection des catégories : on peut trier par nom, filtrer sur un nom, mettre en évidence les catégories actives (nouveaux documents, documents non lus, nombre total de documents). C'est simple, relativement rapide et efficace.

Lecteur ou aggrégateur

Wed, 17 Oct 2007 09:53:49 GMT

Lecteur ou Aggrégateur ?

Les flux RSS, ATOM, RDF, etc. c'est bien, mais ils ne sont pratiquement pas exploitables isolément. Les flux ne sont que cela : des flux de données et vous devez disposer d'un outil pour les lire.
Quels outils ?

Les outils capables de lire des flux, il y en a quantité du plus simple au plus complexe. Pour les comprendre, il peut être intéressant de s'attarder sur l'usage que l'on veut en faire. Il y a une grande différence entre par exemple afficher un flux d'actualité sur un web, les derniers résultats sportifs en encart et parcourir 200 flux distincts pour constituer une revue de presse.
Catégories d'outils et usage

Comme toujours, toutes les classifications sont possibles, le plus difficile restant d'en choisir une. Voici celle que je vous propose : classer les lecteurs/aggrégateurs par usage.

lecture des dernières nouveautés d'un seul site : utiliser votre navigateur favori, normalement il sait le faire pour les plus récentes versions.
agrémenter un site web d'actualités (sportives, publicitaires, commerciales ou non, peu importe) : utiliser un script PHP, c'est simple et efficace
télécharger des flux et être averti des changements : utiliser un lecteur ou un aggrégateur de flux à installer, vous pourrez vous abonner aux flux désirés, et la mise à jour des flux est automatisés (normalement). Exemple ? SyndARn bien entendu.
télécharger des flux, et parcourir l'ensemble des flux pour un thème donné : il vous faut un aggrégateur. Quelle différence avec un lecteur ? La possibilité de rechercher parmi tous les flux les informations qui vont vous intéresser. SyndARn là encore répond à ce besoin : il s'agit même de sa fonctionnalité principale. De plus, pour des raisons de volumétrie, un aggrégateur doit disposer d'un archivage et d'une base de données.
consulter plusieurs flux sans requérir d'installation supplémentaire : les lecteurs/aggrégateurs en ligne répondent à ce besoin, leurs possibilités d'aggrégation son parfois limitées.

Plus de métiers

Jusque là rien d'extraordinaire : juste un parcours rapide et non-exhaustif des différentes possibilités existantes. Par contre si on prend un point de vue "métier", on rencontre des cas d'applications assez inattendus.

télécharger de la musique : essayer le logiciel de téléchargement légal de la firme à la pomme, après tout les flux Itunes sont des flux RSS "améliorés".
afficher dans un portail corporate les dernières pages modifiées : un script php devrait suffire en première approche
constituer une revue de presse : un aggrégateur, vraisemblablement pourvu d'une base de données et d'outils de recherche et d'historisation
front-office/back-office : un aggrégateur, une base de données, et des flux capables de fournir des tag correspondant aux symboles de quotation utilisés.
suivi d'un blog/forum : l'outil est peu important, la qualité du flux par contre primordiale (présence d'un lien permanent, accès aux commentaires, etc.). L'utilisation d'un aggrégateur en ligne ou non va permettre un regroupement des différentes entrées du blog autour d'un tag ou d'un mot-clef commun.

Catégories, flux et éléments, c'est parfois confus.

Thu, 11 Oct 2007 09:42:16 GMT

Catégories, flux et éléments, c'est parfois confus.

Dans la définition d'un flux RSS, par exemple chez Harvard, il y est fait mention par deux foix de catégories (Category) dans la spécification RSS 2.0. Deux fois : une catégorie pour les flux, une catégorie pour chaque élément du flux. Le tout est optionnel, comme souvent pour les flux, qui en tirent toute leur souplesse.

Une double catégorisation

D'après la spécification, la catégorisation des informations peut donc s'exprimer deux fois : une fois pour le flux dans son intégralité, une autre pour un élément individuel. Aucune notion de hiérarchie n'est précisée : il n'est pas précisé si les catégories d'un élément individuel viennent remplacer et annuler les catégories indiquées pour le flux dans son ensemble.

Les catégories dans les flux réels

Si maintenant on regarde l'utilisation faite de ces catégories, j'ai rencontré assez rarement un flux utilisant la double catégorisation. En fait, j'ai même assez rarement rencontré des catégories exprimées pour un flux dans son ensemble, mais le plus souvent pour chaque élément individuel.
Certaines utilisations des catégories sont plutôt intéressantes, et prennent un contexte "métier" assez prononcé. Par exemple le flux de MarketWire, qui diffusent des informations "back-office", utilise comme catégorie les symboles de quotation des sociétés. Dans ce cas de figure, les catégories font partie d'un sous-domaine identifié par un attribut : http://rss.financialcontent.com/stocksymbol.
Un autre exemple est celui des podcast/vidcast. La catégorie permet d'identifier l'artiste ou le genre, trivialement. Un exemple de flux figure ici. La catégorie est mentionnée par élément individuel et indique le genre de musique.

Et dans SyndARn ?

Dans SyndARn, la double catégorisation existe : celle des flux et des éléments indivuels. Une recherche par catégorie donnera pour réponse les documents individuels ayant la catégorie recherchée, ou appartenant à un canal pourvu de cette catégorie. De plus, nous avons ajouté la possibilité d'ajouter, ou de supprimer, les catégories de chaque canal. Et ce pour une raison très simple initialement : la localisation.

Localisation

Localisation ou la traduction de logiciel et son adaptation à un pays, une langue précise. Dans le domaine de la taxonomie (de l'art de classifier ou d'utiliser des catégories dans notre cas), cela revient à tenter de résoudre le problème suivant : Musique s'écrit Music en anglais, Job s'écrit Emploi en Français, Marchés financiers s'écrit Financial Market, Actualités s'écrit News, etc. A permettre dans SyndARn d'employer les catégories de son choix, on se débarrasse assez facilement de cette difficulté.

Lock, Thread, InterlockIncrement

Tue, 09 Oct 2007 19:30:32 GMT

SyndARn est écrit en Delphi.

Ce qui est assez fréquent pour la plateforme Win32. SyndARn n'est pas écrit en prenant appui sur .net, même s'il s'agit d'une évolution vraisemblable. Par ailleurs, l'essentiel du code SyndARn est compatible avec FreePascal et Lazarus, même si la partie graphique ne l'est pas complètement.

Donc pour l'instant en tout cas, le tout fonctionne sous Windows. Quel Windows ? Disons un Windows comprenant un moteur MSXML et un Internet Explorer pas trop vieux : donc XP, VISTA, Windows 2000, Windows 2003. Je n'ai pas pu tester SyndARn sur un OS plus ancien (95, 98, Millenium, NT). Tout retour à ce sujet serait le bienvenu.

Pour nous amener au sujet de cet article, il me reste encore une chose à préciser : SyndARn comprend une interface graphique et un moteur d'agrégation des flux RSS. L'interface graphique permet de lire le résultat de l'agrégation fournit par le moteur. Et pour que l'interface reste le plus possible disponible pour l'utilisateur, pour qu'elle ne reste pas bloquer lors de la mise à jour d'un flux par exemple, le moteur tourne en arrière-plan, en utilisant des "threads" et ce prodigieux objet de Delphi appelé TThread.

Ayant parlé de "thread", on se doit immédiatement de parler de synchronisation : comment faire pour que deux thread n'écrivent pas ensemble au même endroit ? Dans le cas de SyndARn, comment faire pour que la mise à jour simultanée de deux flux ne provoque pas un blocage de l'ensemble ?

La réponse porte pour nom Lock/Unlock. Avec ces deux petits morceaux de codes, on est en mesure de mettre en place des gardes-fous capables de s'assurer d'une bonne synchronisation de l'ensemble. Traditionnellement, pour un Lock ou un Unlock, on utilise un autre objet Delphi TCriticalSection. Sur une idée trouvée ici, j'ai essayé d'employer une API plus spécifique à la plateforme Win32 (InterlockIncrement, InterlockCompare, etc...).

Le code ressemble à peu près à ceci :

// SyndARn

procedure cInterLock.Enter ;

var
    lThread : pointer ;
    r : dword ;

begin
    lThread := pointer(GetCurrentThreadID) ;
    r := Dword(InterLockedCompareExchange(pointer(fThreadIdent),lThread,nil)) ;
    while (r<>0) and (r <> DWORD(lThread)) do
      begin
        Sleep(0) ;
        r := dword(InterLockedCompareExchange(pointer(fThreadIdent),lThread,nil)) ;
        if (r <> 0) and (r <> DWORD(lThread)) then
          Sleep(1) ;
      end ;
    inc(fThreadCount) ;
end ;

Le code est peut-être pas des plus lisibles mais fonctionne en tout cas. Il est notamment utilisé un peu partout !

SyndARn 1.2.0

Sat, 06 Oct 2007 12:22:14 GMT

Bon, je viens de mettre SyndARn à jour avec le dernier build sur le site.

Dans cette version, on a enlevé toute limite au produit non enregistré, donc SyndARn sera désormais un freeware / gratuitiel.

Mais le changement majeur a eu lieu dans l'interface et la gestion des catégories.

La gestion des catégories permet notamment de chercher un mot-clef (un tag) par éléments individuels et non uniquement pour une chaîne seule.

Pour l'interface, j'ai rajouté un menu plus complet, et simplifier le reste.

Photo Album: Syndarn

Mon, 14 Apr 2008 15:42:27 GMT

Syndarn

SyndARn statistics