Server : Apache System : Linux webd348.cluster026.gra.hosting.ovh.net 5.15.148-ovh-vps-grsec-zfs-classid #1 SMP Thu Feb 8 09:41:04 UTC 2024 x86_64 User : hednacluml ( 122243) PHP Version : 8.3.9 Disable Function : _dyuweyrj4,_dyuweyrj4r,dl Directory : /home/hednacluml/dieu/plugins-dist/sites/syndic/ |
<?php
/***************************************************************************\
* SPIP, Système de publication pour l'internet *
* *
* Copyright © avec tendresse depuis 2001 *
* Arnaud Martin, Antoine Pitrou, Philippe Rivière, Emmanuel Saint-James *
* *
* Ce programme est un logiciel libre distribué sous licence GNU/GPL. *
\***************************************************************************/
/**
* Gestion de syndication (RSS,...)
*
* @package SPIP\Sites\Syndication
**/
if (!defined('_ECRIRE_INC_VERSION')) {
return;
}
// ATTENTION
// Cette inclusion charge executer_une_syndication pour compatibilite,
// mais cette fonction ne doit plus etre invoquee directement:
// il faut passer par cron() pour avoir un verrou portable
// Voir un exemple dans action/editer/site
include_spip('genie/syndic');
/**
* Analyse d'une URL au format Atom/RSS
* @param string $url_syndic
* @return array|string
*/
function syndic_atomrss_dist($url_syndic) {
// Aller chercher les donnees du RSS et les analyser
include_spip('inc/distant');
$res = recuperer_url($url_syndic, ['transcoder' => true]);
if (
!$res
or !$res['page']
or intval($res['status'] / 100) != 2
) {
$items = _T('sites:avis_echec_syndication_02');
} else {
$items = analyser_backend($res['page'], $url_syndic);
}
return $items;
}
/**
* @param string $raw_data
* @param string $raw_format
* @return array
*/
function syndic_atomrss_raw_data_to_array_dist($raw_data, $raw_format) {
$data = [];
if ($raw_format == 'xml') {
$simplexml_to_array = charger_fonction('simplexml_to_array', 'inc');
$data = $simplexml_to_array($raw_data);
}
return $data;
}
/**
* Analyse un texte de backend
*
* @param string $rss
* Texte du fichier de backend
* @param string $url_syndic
* URL du site d'où à été extrait le texte
* @return array|string
* - array : tableau des items lus,
* - string : texte d'erreur
**/
function analyser_backend($rss, $url_syndic = '') {
$articles = [];
include_spip('inc/texte'); # pour couper()
$rss = pipeline('pre_syndication', $rss);
if (!defined('_SYNDICATION_DEREFERENCER_URL')) {
/** si true, les URLs de type feedburner sont déréférencées */
define('_SYNDICATION_DEREFERENCER_URL', false);
}
// Echapper les CDATA
cdata_echappe($rss, $echappe_cdata);
// supprimer les commentaires
$rss = preg_replace(',<!--.*-->,Ums', '', $rss);
// simplifier le backend, en supprimant les espaces de nommage type "dc:"
$rss = preg_replace(',<(/?)(dc):,i', '<\1', $rss);
// chercher auteur/lang dans le fil au cas ou les items n'en auraient pas
[$header] = preg_split(',<(item|entry)\b,', $rss, 2);
if (
preg_match_all(
',<(author|creator)\b(.*)</\1>,Uims',
$header,
$regs,
PREG_SET_ORDER
)
) {
$les_auteurs_du_site = [];
foreach ($regs as $reg) {
$nom = $reg[2];
if (preg_match(',<name>(.*)</name>,Uims', $nom, $reg)) {
$nom = $reg[1];
}
$les_auteurs_du_site[] = trim(textebrut(filtrer_entites($nom)));
}
$les_auteurs_du_site = join(', ', array_unique($les_auteurs_du_site));
} else {
$les_auteurs_du_site = '';
}
$langue_du_site = '';
if (
(preg_match(
',<([^>]*xml:)?lang(uage)?' . '>([^<>]+)<,i',
$header,
$match
) and $l = $match[3])
or ($l = extraire_attribut(extraire_balise($header, 'feed'), 'xml:lang'))
) {
$langue_du_site = $l;
} // atom
elseif (preg_match(',<feed\s[^>]*xml:lang=[\'"]([^<>\'"]+)[\'"],i', $header, $match)) {
$langue_du_site = $match[1];
}
// Recuperer les blocs item et entry
$items = array_merge(extraire_balises($rss, 'item'), extraire_balises($rss, 'entry'));
//
// Analyser chaque <item>...</item> du backend et le transformer en tableau
//
if (!count($items)) {
return _T('sites:avis_echec_syndication_01');
}
if (!defined('_SYNDICATION_MAX_ITEMS')) { define('_SYNDICATION_MAX_ITEMS', 1000);
}
$nb_items = 0;
foreach ($items as $item) {
$data = [];
if ($nb_items++ > _SYNDICATION_MAX_ITEMS) {
break;
}
// URL (semi-obligatoire, sert de cle)
// guid n'est un URL que si marque de <guid ispermalink="true"> ;
// attention la valeur par defaut est 'true' ce qui oblige a quelque
// gymnastique
if (
preg_match(
',<guid.*>[[:space:]]*(https?:[^<]*)</guid>,Uims',
$item,
$regs
)
and preg_match(
',^(true|1)?$,i',
extraire_attribut($regs[0], 'ispermalink') ?? ''
)
) {
$data['url'] = $regs[1];
} // contourner les redirections feedburner
else {
if (
_SYNDICATION_DEREFERENCER_URL
and preg_match(
',<feedburner:origLink>(.*)<,Uims',
$item,
$regs
)
) {
$data['url'] = $regs[1];
} // <link>, plus classique
else {
if (
preg_match(
',<link[^>]*[[:space:]]rel=["\']?alternate[^>]*>(.*)</link>,Uims',
$item,
$regs
)
) {
$data['url'] = trim($regs[1]);
// c'est pas impossible d'avoir l'URL dans un href quand meme :)
if (empty($data['url'])) {
$data['url'] = extraire_attribut($regs[0], 'href');
}
} else {
if (
preg_match(
',<link[^>]*[[:space:]]rel=.alternate[^>]*>,Uims',
$item,
$regs
)
) {
$data['url'] = extraire_attribut($regs[0], 'href');
} else {
if (preg_match(',<link[^>]*>\s*([^\s]+)\s*</link>,Uims', $item, $regs)) {
$data['url'] = $regs[1];
} else {
if (preg_match(',<link[^>]*>,Uims', $item, $regs)) {
$data['url'] = extraire_attribut($regs[0], 'href');
} // Aucun link ni guid, mais une enclosure
else {
if (
preg_match(',<enclosure[^>]*>,ims', $item, $regs)
and $url = extraire_attribut($regs[0], 'url')
) {
$data['url'] = $url;
} // pas d'url, c'est genre un compteur...
else {
$data['url'] = '';
}
}
}
}
}
}
}
// Titre (semi-obligatoire)
if (preg_match(',<title[^>]*>(.*?)</title>,ims', $item, $match)) {
$data['titre'] = $match[1];
} else {
if (
preg_match(',<link[[:space:]][^>]*>,Uims', $item, $mat)
and $title = extraire_attribut($mat[0], 'title')
) {
$data['titre'] = $title;
}
}
if (!strlen($data['titre'] = trim($data['titre']))) {
$data['titre'] = _T('ecrire:info_sans_titre');
}
// Date
$la_date = '';
if (
preg_match(
',<(published|modified|issued)>([^<]*)<,Uims',
$item,
$match
)
) {
cdata_echappe_retour($match[2], $echappe_cdata);
$la_date = my_strtotime($match[2], $langue_du_site);
}
if (
!$la_date and
preg_match(',<(pubdate)>([^<]*)<,Uims', $item, $match)
) {
cdata_echappe_retour($match[2], $echappe_cdata);
$la_date = my_strtotime($match[2], $langue_du_site);
}
if (
!$la_date and
preg_match(',<([a-z]+:date)>([^<]*)<,Uims', $item, $match)
) {
cdata_echappe_retour($match[2], $echappe_cdata);
$la_date = my_strtotime($match[2], $langue_du_site);
}
if (
!$la_date and
preg_match(',<date>([^<]*)<,Uims', $item, $match)
) {
cdata_echappe_retour($match[1], $echappe_cdata);
$la_date = my_strtotime($match[1], $langue_du_site);
}
// controle de validite de la date
// pour eviter qu'un backend errone passe toujours devant
// (note: ca pourrait etre defini site par site, mais ca risque d'etre
// plus lourd que vraiment utile)
if ($GLOBALS['controler_dates_rss']) {
if (
!$la_date
or $la_date > time() + 48 * 3600
) {
$la_date = time();
}
}
if ($la_date) {
$data['date'] = $la_date;
}
// Honorer le <lastbuilddate> en forcant la date
if (
preg_match(
',<(lastbuilddate|updated|modified)>([^<>]+)</\1>,i',
$item,
$regs
)
and $lastbuilddate = my_strtotime(trim($regs[2]), $langue_du_site)
// pas dans le futur
and $lastbuilddate < time()
) {
$data['lastbuilddate'] = $lastbuilddate;
}
// Auteur(s)
if (
preg_match_all(
',<(author|creator)\b[^>]*>(.*)</\1>,Uims',
$item,
$regs,
PREG_SET_ORDER
)
) {
$auteurs = [];
foreach ($regs as $reg) {
$nom = $reg[2];
if (preg_match(',<name\b[^>]*>(.*)</name>,Uims', $nom, $reg)) {
$nom = $reg[1];
}
// Cas particulier d'un auteur Flickr
if (preg_match(',nobody@flickr.com \((.*)\),Uims', $nom, $reg)) {
$nom = $reg[1];
}
$auteurs[] = trim(textebrut(filtrer_entites($nom)));
}
$data['lesauteurs'] = join(', ', array_unique($auteurs));
} else {
$data['lesauteurs'] = $les_auteurs_du_site;
}
// Description
if (
preg_match(',<(description|summary)\b.*'
. '>(.*)</\1\b,Uims', $item, $match)
) {
$data['descriptif'] = trim($match[2]);
}
if (
preg_match(',<(content)\b.*'
. '>(.*)</\1\b,Uims', $item, $match)
) {
$data['content'] = trim($match[2]);
}
// lang
if (
preg_match(
',<([^>]*xml:)?lang(uage)?' . '>([^<>]+)<,i',
$item,
$match
)
) {
$data['lang'] = trim($match[3]);
} else {
if ($lang = trim(extraire_attribut($item, 'xml:lang') ?? '')) {
$data['lang'] = $lang;
} else {
$data['lang'] = trim($langue_du_site);
}
}
// source et url_source (pas trouve d'exemple en ligne !!)
# <source url="http://www.truc.net/music/uatsap.mp3" length="19917" />
# <source url="http://www.truc.net/rss">Site source</source>
if (
preg_match(
',(<source[^>]*>)(([^<>]+)</source>)?,i',
$item,
$match
)
) {
$data['source'] = trim($match[3]);
$data['url_source'] = str_replace(
'&',
'&',
trim(extraire_attribut($match[1], 'url'))
);
}
// Récupération de l'id quelqu'il soit
if (preg_match(',<id>(.+)</id>,Uims', $item, $regs)) {
$data['id'] = $regs[1];
// GitHub et Gitlab : Identification du commit ou du ticket
if (preg_match(',(?:commit|issues)/(\w+)$,Uims', $data['id'], $regs)) {
$data['id_commit'] = $regs[1];
}
}
// tags
# a partir de "<dc:subject>", (del.icio.us)
# ou <media:category> (flickr)
# ou <itunes:category> (apple)
# on cree nos tags microformat <a rel="directory" href="url">titre</a>
# http://microformats.org/wiki/rel-directory-fr
$tags = [];
if (
preg_match_all(
',<(([a-z]+:)?(subject|category|directory|keywords?|tags?|type))[^>]*>'
. '(.*?)</\1>,ims',
$item,
$matches,
PREG_SET_ORDER
)
) {
$tags = ajouter_tags($matches, $item);
} # array()
elseif (
preg_match_all(
',<(([a-z]+:)?(subject|category|directory|keywords?|tags?|type))[^>]*/>'
. ',ims',
$item,
$matches,
PREG_SET_ORDER
)
) {
$tags = ajouter_tags($matches, $item);
} # array()
// Pieces jointes :
// chercher <enclosure> au format RSS et les passer en microformat
// ou des microformats relEnclosure,
// ou encore les media:content
if (!afficher_enclosures(join(', ', $tags))) {
// on prend toutes les pièces jointes possibles, et on essaie de les rendre uniques.
$enclosures = [];
# rss 2
if (
preg_match_all(
',<enclosure[[:space:]][^<>]+>,i',
$item,
$matches,
PREG_PATTERN_ORDER
)
) {
$enclosures += array_map('enclosure2microformat', $matches[0]);
}
# atom
if (
preg_match_all(
',<link\b[^<>]+rel=["\']?enclosure["\']?[^<>]+>,i',
$item,
$matches,
PREG_PATTERN_ORDER
)
) {
$enclosures += array_map('enclosure2microformat', $matches[0]);
}
# media rss
if (
preg_match_all(
',<media:content\b[^<>]+>,i',
$item,
$matches,
PREG_PATTERN_ORDER
)
) {
$enclosures += array_map('enclosure2microformat', $matches[0]);
}
$data['enclosures'] = join(', ', array_unique($enclosures));
unset($enclosures);
}
$data['item'] = $item;
// Nettoyer les donnees et remettre les CDATA en place
cdata_echappe_retour($data, $echappe_cdata);
cdata_echappe_retour($tags, $echappe_cdata);
$data['raw_data'] = $item;
cdata_echappe_retour($data['raw_data'], $echappe_cdata, false);
$data['raw_format'] = 'xml';
// passer l'url en absolue
$data['url'] = url_absolue(filtrer_entites($data['url']), $url_syndic);
// si on demande un dereferencement de l'URL, il faut verifier que ce n'est pas une redirection
if (_SYNDICATION_DEREFERENCER_URL) {
$target = $data['url'];
include_spip('inc/distant');
// on fait un GET et pas un HEAD car les vieux SPIP ne repondent pas la redirection avec un HEAD (honte) sur un article virtuel
// mais on limite la taille de ce qu'on telecharge
$res = recuperer_url($target, ['taille_max' => 4096]);
// et récuperer l'URL finale de la page apres redirections eventuelles
if (!empty($res['url'])) {
$data['url'] = $res['url'];
}
}
// Trouver les microformats (ecrase les <category> et <dc:subject>)
if (
preg_match_all(
',<a[[:space:]]([^>]+[[:space:]])?rel=[^>]+>.*</a>,Uims',
$data['item'],
$regs,
PREG_PATTERN_ORDER
)
) {
$tags = $regs[0];
}
$data['tags'] = $tags;
// enlever le html des titre pour etre homogene avec les autres objets spip
$data['titre'] = textebrut($data['titre']);
$articles[] = $data;
}
return $articles;
}
/**
* Strtotime même avec le format W3C !
*
* Car hélàs, strtotime ne le reconnait pas tout seul !
*
* @link http://www.w3.org/TR/NOTE-datetime Format datetime du W3C
*
* @param string $la_date
* Date à parser
* @return int
* Timestamp
**/
function my_strtotime($la_date, $lang = null) {
// format complet
if (
preg_match(
',^(\d+-\d+-\d+[T ]\d+:\d+(:\d+)?)(\.\d+)?'
. '(Z|([-+]\d{2}):\d+)?$,',
$la_date,
$match
)
) {
$match = array_pad($match, 6, null);
$la_date = str_replace('T', ' ', $match[1]) . ' GMT';
return strtotime($la_date) - intval($match[5]) * 3600;
}
// YYYY
if (preg_match(',^\d{4}$,', $la_date, $match)) {
return strtotime($match[0] . '-01-01');
}
// YYYY-MM
if (preg_match(',^\d{4}-\d{2}$,', $la_date, $match)) {
return strtotime($match[0] . '-01');
}
// YYYY-MM-DD hh:mm:ss
if (preg_match(',^\d{4}-\d{2}-\d{2}\s+\d{2}:\d{2}:\d{2}\b,', $la_date, $match)) {
return strtotime($match[0]);
}
// utiliser strtotime en dernier ressort
// en nettoyant le jour qui prefixe parfois la date, suivi d'une virgule
// et les UT qui sont en fait des UTC
$la_date_c = preg_replace('/^\w+,\s*/ms', '', $la_date);
$la_date_c = preg_replace('/UT\s*$/ms', 'UTC', $la_date_c);
if (
$s = strtotime($la_date)
or $s = strtotime($la_date_c)
) {
return $s;
}
// essayons de voir si le nom du mois est dans la langue du flux et remplacons le
// par la version anglaise avant de faire strtotime
if ($lang) {
// "fr-fr"
[$lang] = explode('-', $lang);
static $months = null;
if (!isset($months[$lang])) {
$prev_lang = $GLOBALS['spip_lang'];
changer_langue($lang);
foreach (range(1, 12) as $m) {
$s = _T("date_mois_$m");
$months[$lang][$s] = date('M', strtotime("2013-$m-01"));
$s = _T('date_mois_' . $m . '_abbr');
$months[$lang][$s] = date('M', strtotime("2013-$m-01"));
$months[$lang][trim($s, '.')] = date('M', strtotime("2013-$m-01"));
}
changer_langue($prev_lang);
}
spip_log($la_date_c, 'dbgs');
foreach ($months[$lang] as $loc => $en) {
if (stripos($la_date_c, (string) $loc) !== false) {
$s = str_ireplace($loc, $en, $la_date_c);
if ($s = strtotime($s)) {
return $s;
}
}
}
}
// erreur
spip_log("Impossible de lire le format de date '$la_date'");
return false;
}
// A partir d'un <dc:subject> ou autre essayer de recuperer
// le mot et son url ; on cree <a href="url" rel="tag">mot</a>
function creer_tag($mot, $type, $url) {
if (!strlen($mot = trim($mot))) {
return '';
}
$mot = "<a rel=\"tag\">$mot</a>";
if ($url) {
$mot = inserer_attribut($mot, 'href', $url);
}
if ($type) {
$mot = inserer_attribut($mot, 'rel', $type);
}
return $mot;
}
function ajouter_tags($matches, $item) {
include_spip('inc/filtres');
$tags = [];
foreach ($matches as $match) {
$type = ($match[3] == 'category' or $match[3] == 'directory')
? 'directory' : 'tag';
$mot = supprimer_tags($match[0]);
if (
!strlen($mot)
and !strlen($mot = extraire_attribut($match[0], 'label'))
) {
break;
}
// rechercher un url
if ($url = extraire_attribut($match[0], 'domain')) {
// category@domain est la racine d'une url qui se prolonge
// avec le contenu text du tag <category> ; mais dans SPIP < 2.0
// on donnait category@domain = #URL_RUBRIQUE, et
// text = #TITRE_RUBRIQUE ; d'ou l'heuristique suivante sur le slash
if (substr($url, -1) == '/') {
$url .= rawurlencode($mot);
}
} else {
if (
$url = extraire_attribut($match[0], 'resource')
or $url = extraire_attribut($match[0], 'url')
) {
} ## cas particuliers
else {
if (extraire_attribut($match[0], 'scheme') == 'urn:flickr:tags') {
foreach (explode(' ', $mot) as $petit) {
if (
$t = creer_tag(
$petit,
$type,
'http://www.flickr.com/photos/tags/' . rawurlencode($petit) . '/'
)
) {
$tags[] = $t;
}
}
$mot = '';
} else {
if (
// cas atom1, a faire apres flickr
$term = extraire_attribut($match[0], 'term')
) {
if ($scheme = extraire_attribut($match[0], 'scheme')) {
$url = suivre_lien($scheme, $term);
} else {
$url = $term;
}
} else {
# type delicious.com
foreach (explode(' ', $mot) as $petit) {
if (
preg_match(
',<rdf\b[^>]*\bresource=["\']([^>]*/'
. preg_quote(rawurlencode($petit), ',') . ')["\'],i',
$item,
$m
)
) {
$mot = '';
if ($t = creer_tag($petit, $type, $m[1])) {
$tags[] = $t;
}
}
}
}
}
}
}
if ($t = creer_tag($mot, $type, $url)) {
$tags[] = $t;
}
}
return $tags;
}
// Lit contenu des blocs [[CDATA]] dans un flux
function cdata_echappe(&$rss, &$echappe_cdata) {
$echappe_cdata = [];
if (
preg_match_all(
',<!\[CDATA\[(.*)]]>,Uims',
$rss,
$regs,
PREG_SET_ORDER
)
) {
foreach ($regs as $n => $reg) {
if (
strpos($reg[1], '<') !== false
or strpos($reg[1], '>') !== false
) {
// verifier que la chaine est encore dans le flux, car on peut avoir X fois la meme
// inutile de (sur)peupler le tableau avec des substitutions identiques
if (strpos($rss, (string) $reg[0]) !== false) {
$echappe_cdata["@@@SPIP_CDATA$n@@@"] = $reg[1];
$rss = str_replace($reg[0], "@@@SPIP_CDATA$n@@@", $rss);
}
} else {
$rss = str_replace($reg[0], $reg[1], $rss);
}
}
}
}
// Retablit le contenu des blocs [[CDATA]] dans une chaine ou un tableau
function cdata_echappe_retour(&$x, &$echappe_cdata, $filtrer_entites = true) {
if (is_string($x)) {
if ($filtrer_entites and strpos($x, '<') !== false) {
$x = filtrer_entites($x);
}
if (strpos($x, '@@@SPIP_CDATA') !== false) {
$x = str_replace(array_keys($echappe_cdata), array_values($echappe_cdata), $x);
}
} else {
if (is_array($x)) {
foreach ($x as $k => &$v) {
cdata_echappe_retour($v, $echappe_cdata, $filtrer_entites);
}
}
}
}