CLIW 2014—2015 (6/12): Căutarea resurselor Web

www.purl.org/net/busa

Dezvoltarea aplicațiilor Webla nivel de client

(re)găsirea resurselor Web

de la motoare de căutare și SEO la date structurate

“A well-defined problem is half solved.”

Michael Osborne

Cum prezentăm conținutulaltor clienți – diferiți de cei umani?

Am putea recurge la extragerea automatăa datelor expuse pe Web?

Roboți

programe ce traversează automat Web-ul,cu scopul de a extrage date

spiders, crawlers, Web bots

Roboți

programe ce traversează automat Web-ul,cu scopul de a extrage date

robot Web navigator Web

Roboți

pornind de la un URI, realizează o conexiune HTTPla un server Web, pentru a întreprinde anumite

acțiuni privitoare la reprezentarea unei resurse și,recursiv, din toate documentele desemnate de

legăturile existente în cadrul reprezentării

Roboți

pornind de la un URI, realizează o conexiune HTTPla un server Web, pentru a întreprinde anumite

acțiuni privitoare la reprezentarea unei resurse și,recursiv, din toate documentele desemnate de

legăturile existente în cadrul reprezentării

acțiuni: extragere, copiere, sumarizare,agregare de conținut, monitorizare etc.

roboți: pericole

Operarea în foc rapid (rapid-fire)

trafic de rețea

supraîncărcarea serverelor Webdenial of service

roboți: pericole

Actualizarea cu întârziere a bazelor de dateale motoarelor de căutare

roboți: pericole

Actualizarea cu întârziere a bazelor de dateale motoarelor de căutare

necesitatea specificării timpului de revizitare a situluide către robotul Web

roboți: pericole

Exploatarea (ne)controlată de către utilizatori

atacuri „brute”

roboți: pericole

Intrarea în „găurile negre”

roboți: pericole

Accesarea unor date nerelevante

roboți: identificare

Fiecare robot Web trebuie să se identifice(nume, domeniu, creator,...)

uzual, va fi folosit câmpul User-Agent

din antetul unei cereri HTTP

19539 de roboți Web – statistica din 2013Alexa (7004), Bing/MSN (100), Facebook (60),

Googlebot (6085), Twitter (84) + neidentificați (374730) conform www.botsvsbrowsers.com

search engines51%

scrapers8%

hacking tools7%

spammers1%

others33%

roboți personali(e.g., motoare experimentale, software de oglindire)

BackRub (pre-Google)wget – http://www.gnu.org/software/wget/

roboți ai motoarelor de căutare majore

Baiduspider – www.baidu.com/search/spider.html

bingbot – www.bing.com/bingbot.htm

Googlebot – www.google.com/bot.html

Slurp – http://help.yahoo.com/help/us/ysearch/slurp

YandexBot – yandex.com/bots

roboți specializați(e.g., validarea codului HTML, scurtarea lungimii

URL-urilor, scanare de vulnerabilități, statistici,…)

exemplificări: citeseerxbot,Page2RSS, extensii Nagios, W3C Validator

173.199.116.75 - - [11/Dec/2012:00:46:02 +0200] "GET /~web/2012/ HTTP/1.1" 404 193 "-" "Mozilla/5.0 (compatible; AhrefsBot/4.0; +http://ahrefs.com/robot/)"

180.76.5.101 - - [11/Dec/2012:06:50:09 +0200] "GET /~busaco/ HTTP/1.1" 200 1784 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

98.137.206.250 - - [11/Dec/2012:11:08:25 +0200] "GET /~busaco/ HTTP/1.1" 200 1784 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)"

207.46.199.167 - - [11/Dec/2012:11:08:26 +0200] "GET ....jpg HTTP/1.1" 200 3394 "-" "msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)"

66.249.75.44 - - [11/Dec/2012:11:12:26 +0200] "GET ….png HTTP/1.1" 304 - "-" "Googlebot-Image/1.0"

178.154.174.252 - - [11/Dec/2012:11:22:05 +0200] "GET … HTTP/1.1" 301 206 "-""Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)“

66.249.75.22 - - [11/Dec/2012:11:30:47 +0200] "GET /~seminar/… HTTP/1.1" 200 683 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.75.44 - - [11/Dec/2012:11:29:51 +0200] "GET … HTTP/1.1" 200 1104 "-" "Mozilla/5.0 (iPhone; U; en-us) … Mobile/8B117 (compatible; Googlebot-Mobile/2.1)"

65.55.24.244 - - [11/Dec/2012:11:31:46 +0200] "GET /mw/index.php HTTP/1.1" 200 4408 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)“

78.46.238.220 - - [11/Dec/2012:11:33:32 +0200] "GET /~cyp/test HTTP/1.1" 200 6 "-""check_http/v1.4.15 (nagios-plugins 1.4.15)"

128.30.52.70 - - [11/Dec/2012:12:02:14 +0200] "GET /~busaco/ HTTP/1.1" 200 1784 "-" "W3C_Validator/1.3"

cereri HTTP efectuate de diverși roboți Web(menționate în fișierul de jurnalizare Apache)

Cum putem „instrui” roboții Websă nu viziteze anumite zone ale sitului?

Orice robot trebuie să respectestandardul de excludere

fișierul robots.txt

detalii la http://www.robotstxt.org/robotstxt.html

# /robots.txt pentru http://www.info.uaic.ro User-agent: * # toți roboții Crawl-delay: 20 # 20 sec. între cereriDisallow: /tmp/ # date temporareDisallow: /xwiki/bin/xmlrpc/ # director privat

de studiat câteva exemple reale:http://www.amazon.com/robots.txt

http://facebook.com/robots.txt

http://www.google.com/robots.txt

evitarea indexării conținutului:

Ce activități realizează un motor de căutare?

Scop:localizarea resurselor existente pe Web

Tipuri de căutări – maniera tradițională:

pe bază de indecși (crawling & indexing)

Lycos – 1994AltaVista – 1995

pe baza ierarhiilor de termeni(servicii de tip catalog – topic directory, taxonomii)

Yahoo! – Yet Another Hierarchical Officious Oracle1994

hibrideindecși + taxonomiiportal Web

Excite – 1994

pe baza legăturilor hipertext(hyperlink analysis)

Google – 1996

Tipuri de căutări – maniera modernă:

pe baza datelor structurate(determinare și extragere de meta-date & concepte)

Microsoft Satori Entity Engine (bazat pe Trinity)http://research.microsoft.com/en-us/projects/trinity/

Google Knowledge Graph (utilizează Freebase, Wikipedia)www.google.com/insidesearch/features/search/knowledge.html

Un motor de căutare trebuie să satisfacănevoia de informații a utilizatorului

(user information-seeking)

Localizarea & indexarea resurselor se pot realiza:

automat – via roboți Webmanual – recurgând la experți umani

hibrid

Localizarea & indexarea resurselor

strategii:data/relation mining

topic distillationmeta-data search

social search…

Caracteristici ale unui motor de căutare ideal

căutarea oricărei resurse existente

viteză

rezultatele să fie disponibile imediat

direcție de interes major: real-time Web search

disponibilitate

actualizarea permanentă(orice modificare să fie indexată „instantaneu”)

recall

găsirea tuturor resurselor relevantepentru o cerere dată

precizie

rezultatul conține doar documente relevante

ranking

cele mai relevante documentesunt plasate primele

Care sunt principalele componenteale unui motor de căutare?

Robot Webextrage informații

Index (catalog)stochează – în mod persistent – (meta)date

despre resursele existente pe Web

Mecanism de evaluare (ranking)pe baza cererii utilizatorului, oferă răspunsuri

Diferențele dintre motoarele de căutare actualesunt date de fiecare componentă în parte

structura generică a unui motor de căutare(Chakrabarti, 2003)

motoare: căutarea

Activitatea generală a unui robot (crawler) simplu:

F = mulțimea de URL-uri de start (frontiera)cât-timp F este nevidăextrage un URL u din Fpreia pagina (resursa Web) p cu adresa udacă p este relevantăstochează p în indexpentru-fiecare legătură v din p

dacă v nu este în index și v nu aparține lui Fși v ar putea fi vizitată

adaugă v la F

motoare: căutarea

Bazată pe învățare

data mining

(de exemplu, reinforcement learning)

detalii la master

motoare: căutarea

Conținutul ce trebuie indexat nu e doar textual

hiper-informația:INFORMATION = HYPERINFO + TEXTINFO

dependența de legături

ordonarea legăturilor(alegerea unor criterii vizând importanța)

motoare: căutarea

Robotul/motorul de căutare decide momentulrevizitării resursei care urmează a fi reindexată

sau doar verificată

motoare: căutarea

Aspect de interes:

rezoluția adreselor Web(nume de domeniiadrese IP)

DNS caching, pre-fetching & resolution

motoare: căutarea

Aspect de interes:

realizarea cererilor concurente

motoare: căutarea

Aspect de interes:

extragerea legăturilor

e.g., normalizarea URI-urilor:www.InfoIasi.Ro:80www.info.uaic.ro

motoare: căutarea

Aspect de interes:

eliminarea adreselor deja vizitate

evitarea „găurilor negre”

motoare: căutarea

Aspect de interes:

monitorizarea accesărilor

load monitoring & managing(evitarea supra-solicitării serverelor Web)

motoare: căutarea

Aspect de interes:

strategii de revizitare/reîmprospătarea conținutului resurselor Web

motoare: indexarea

Necesitatea folosirii sistemelor de baze de date depozit distribuit de stocare (eventual, în cloud)

optimizarea regăsirii

motoare: indexarea

optimizarea regăsirii

modele non-relaționale de stocare – „mișcarea” NoSQL

printre primele abordări: BigTable (Chang et al., 2006)http://labs.google.com/papers/bigtable.html

motoare: indexarea

arhivarea datelor indexate

e.g., recurgerea la algoritmul de compresie bzip2(cazul Google)

Cum se realizează indexarea?

motoare: indexarea

Utilizarea nu doar a datelor propriu-zise(conținutului textual), ci și a meta-datelor

e.g., limbă, cuvinte-cheie, autor, format,data ultimei actualizări,…

motoare: indexarea

Indexare bazată pe cuvinte-cheierelevanță, plasament, meta-date,...

versus

indexare semantică – bazată pe concepteAtom/RSS, social tagging,

microformate, microdate HTML5, Web semantic (RDF, RDFa),...

motoare: indexarea

O importanță mare o au: maniera de structurare a informației și„relația” unei pagini cu altele înrudite

motoare: interogarea

Cererile sunt formulate via o interfață Web

unele motoare de căutare acceptăfolosirea unor operatori specifici

exemplificare: o parte dintre operatorii Google

"expresie" ~termen –termen

numar1 .. numar2 related: URL cache: URL

intitle: termen(i) intext: termen(i) inurl: termen(i)

link: URL site: domeniu info: domeniu

define: termen filetype: extensie unit1 in unit2

detalii la www.googleguide.com/advanced_operators_reference.html

digital camera $700 .. 1400

Apache logo filetype: png

intitle: design –intitle: web

"burse de merit" site: uaic.ro inurl: edit

Interogările din prisma utilizatorului:

grad mare de subiectivitate

e.g., “miserable failure”

depind de contextul social/cultural

exemple:“pants” în UK versus US

“madonna and child”

dependente de scop

informațional (listă, locație, sfat)

navigațional

vizând accesarea resurselor(download, amuzament, interactivitate,…)

Remarci:

utilizatorii obișnuiți nu înțeleg limbajul logic – „booleana”

exemplu:“hotels located in Bucharest and Iasi”

Remarci:

interogările uzual sunt scurte (media: 2,6 cuvinte),dar focalizate – e.g., 25% pe business (conform Yahoo!)

vezi și http://labs.yahoo.com/publication/?area=web-mining-search

Remarci:

apar confuzii:URI vs. text,

lipsa spațiilor,vocabular

Remarci:

implicit, termenii de căutare trebuie să se regăseascăidentic în cadrul conținutului unui document Web

e.g., căutând “children”, nu vom obține neapărat și paginile care includ “kids”

Interogări formulate în limbaj natural:

eliminarea ambiguităților (dezambiguizarea)

filtrarea cuvintelor nerelevante

expandarea interogării: sinonime, forme derivate,…

Evaluarea cererii – schema generală:1. Analizarea interogării (tokenizing)2. Căutarea în indecșii termenilor3. Scanarea documentelor4. Evaluarea relevanței paginilor5. Eliminarea duplicatelor & sortarea6. Afișarea primelor N documente relevante

(URI + alte informații)

Conținutul fiecărui document extraseste analizat și divizat în token-uri

Unele construcții se ignoră/constrâng

e.g., “the”, “is”/“are”/“were” → “be”, “running” → “run”

procesare de bază a conținutului textual

Fiecărui token i se reține și poziția aparițieiîn document

poziția poate fi folosităla determinarea relevanței termenului

Criterii vizând calculul relevanței:

ranking bazat pe clasificare umană

resurse clasificate de oameni

ranking bazat pe informații privitoarela utilizarea unei resurse

timpul de vizită, periodicitatea vizitei,frecvența actualizării resursei, importanța relativă etc.

ranking bazat pe conectivitate

analiza relațiilor (legăturilor hipertext) cu alte pagini

eventual, în funcție de reputațiee.g., importanța domeniului Internet

(sunt luați în calcul factori ca vechimea, localizarea,…)

Calculul relevanței:

tehnici privind IR (Information Retrieval)

cautări bazate pe similaritate – similarity search

cautări bazate pe învățare automată (machine learning)

clasificarea conținutului hipermedia

social network analysis – bibliometrie, prestigiu,…

Page Rank (Google)

evaluarea relevanței pe baza contextului de apariție

Page Rank (Google)

exploatarea relațiilor dintre diferite pagini Web

Page Rank (Google)

recurgerea la tehnici adaptive, euristice

Page Rank (Google)

determinarea corelației dintre relevanța calculatăautomat de sistem și cea precizată (in)direct

de către utilizator

Page Rank (Google)(Larry Page & Sergey Brin, 1996 – doctorat la Stanford)

se baza inițial pe structura hipertext

o legătură de la pagina A la B reprezintăun vot dat paginii B de către A

cu cât un sit este mai important,cu atât page rank-ul asociat lui e mai mare

Alternative la Page Rank:

TrustRank (Friesen, 2007)

folosește domenii Web de încredere selectate de oameni

TrustRank (Friesen, 2007)

cu cât un sit e mai aproape (în termeni de legături Web)de siturile evaluate și considerate de încredere

de către oameni, cu atât va avea o importanță mai mare

vizează un sit (domeniu), nu o pagină Web

utilizarea tehnologiilor Web-ului semantic

se iau în considerație concepte (cunoștințe), nu cuvinte

Evifolosirea

inferențelorpentru

a răspunde la întrebările

utilizatorului

perioadă de timp strategie

înainte de 2000conținut – indexarea textului(titlu, anteturi, URL, descriere via <meta>)

2000—2010conținutautoritate (via legături)

2010—prezent

conținutautoritatepersonalizare (social media +informații personale)

2012—prezent

conținutautoritatepersonalizareconcepte (date-structurate + Web of data)

adaptare după (K. Bodnar & J. Hopkins, 2011)

generale Bing, DuckDuckGo, Google, Yahoo!, Volunia,…

regionaleBaidu (China), Daum (Coreea), Goo (Japonia),

Guruji (India), Rambler (Rusia) etc.

meta-căutare Dogpile, Excite, Mamma, Yippy

enterprise search Apache Solr, ElasticSearch, OpenSearchServer,…

răspunsuri(answer-based)

umane: Stack Overflow, Yahoo! Answers, Quora

automate: AskMeNow, Evi, Wolfram Alpha

news search BingNews, Daylife, Topix, Yahoo! News,…

hărți (maps) Nokia HERE, OpenStreetMap, WikiMapia etc.

cod-sursă Google Code Search, Koders, Krugle

căutare pe baza P2P FAROO, Seeks, YaCy

desktop search DocFetcher, Recoll, Tropes Zoom

pentru dezvoltatori: Apache Lucene, Apache Nutch, mnoGoSearch, Namazu, Xapian,…

2056 de API-uri (7 noiembrie 2014)privind căutarea resurselor Web:

http://www.programmableweb.com/category/search

Motoarele tind să „recompenseze” siturile:

de mari dimensiuni

cu viață lungă

specializate, de „nișă”

aparținând unor autorități de încredere

SERP (Search Engine Result Page)

specifică maniera de redare a rezultateloroferite de motorul de căutare

motoare: afișarea rezultatelor

SERP (Search Engine Result Page)

se includ recomandări pe baza:preferințelor utilizatorului

istoricului căutărilorURL-urilor partajate via rețele sociale

meta-datelor (rich snippets)adnotărilor realizate de utilizatorilocației geografice (local search)

motoare: afișarea rezultatelor

“At any one time you rank #1 or #8 or #40based on who is searching, where they search,

and what is happening.”

K. Bodnar & J. Hopkins, 2011

Cum putem proiectamijloacele de căutare internă?

Motor de căutare internă (la nivel de sit)

oferirea de sugestii utilizatorului

e.g., spelling suggestions,sinonime (car automobile, truck,…)

sugestii de soluții

de exemplu, răspunsuri la cele mai frecvente întrebări

îmbunătățirea interacțiunii – utilizabilitatea

integrarea în designul general al sitului

tactici: oferirea unui următor pas de realizat(mai ales când nu există rezultate),

sugestii privind căutarea, exemple, rafinarea cererii etc.

în pagina de redare a rezultatelor, va fi afișată șiinterogarea inițială, cu posibilitatea modificării ei

oferirea a cel puțin N rezultate/pagină +indicarea numărului total de pagini de rezultate

sau încărcarea progresivă a următoarelor rezultate

calitatea rezultatelor oferite e dependentăși de modul de structurare a datelor

fiecare rezultat să includă informații utilefolosirea unui vocabular înțeles de către vizitator,

utilizarea unor tehnici de vizualizare intuitivă,facilitarea filtrării & sortării datelor etc.

utilizatorul să aibă libertatea de a efectuaoricând o nouă interogare

evitarea „fundăturilor” – oferirea de ajutor, sugestii,…

Cum trebuie scris codul HTMLpentru a obține o relevanță bună a conținutului?

SEO – Search Engine Optimization

suită de strategii de redactare a codului HTMLîn vederea obținerii unei relevanțe ridicate

a conținutului, astfel încât pagina/situl să fieregăsite în urma unei căutări specifice efectuate

cu un instrument de căutare

Structurarea codului-sursă a documentelor Web

Structurarea conținutului

Structurarea legăturilor cu alte pagini

Structurarea codului-sursă – SEO la nivel de pagină

documentul trebuie să fie bine-formatat

includerea de meta-date:în antet – elementul <meta />

conținut textual alternativ pentru imagini(<img alt="..." />), multimedia, legături (<a title="...">),

tabele (<table summary="...">) etc.

atașarea de meta-date externe via elementul <link />

a nu se folosi:cadre (frame-uri)

sauelemente învechite sau proprietare

(e.g., <blink> ori <marquee>)

conținutul primează (“content is king”)

alegerea judicioasă a cuvintelor-cheie în <meta>

criterii: relevanță, densitate, internaționalizare

o importanță majoră o are titlul paginii

situl trebuie actualizat periodic, frecvent

un criteriu important: timpul de încărcare

despre performanțaaplicațiilor Web

într-un curs viitor

codul trebuie structurat conform semnificației logicePOSH (Plain Old Semantic HTML)

conținutul relavant trebuie plasat ierarhicvia <h1>, <h2>,...

pentru HTML5, de utilizat noile elementevizând structura: <article>, <header>, <footer>, <nav> etc.

layout bazat pe CSS și nu pe marcaje tabelare

conținuturile multimedia binaretrebuie să aibă alternative textuale

anumite date pot fi „ascunse” de roboți via robots.txt

numele fișierelor (imagini, stiluri,…) contează

human friendly URLs

Structurarea legăturilor – SEO la nivel de sit

obligatoriu, de inclus legături spre alte pagini(ale sitului ori ale altor situri)

dorim legături spre/de la situri importanteavând conținut similar cu situl nostru

tehnici clasice (considerate „demodate”):interschimb de link-uri – banner-e, blogroll-uri,

marketing bazat pe context

dorim legături spre/de la situri importanteavând conținut similar cu situl nostru

recurgerea la aplicații Web sociale

SMO (Social Media Optimization)

de verificat și menținut structura hipertext!

a se evita spam-ul

e.g., legături încrucișate între pagini similareale aceluiași sit Web ori ale unei colecții de situri

motoarele detectează & penalizează spam-ul!http://searchenginewatch.com/topic/web_spam_detection

Utilizarea elementului <meta>

descrierea paginii – description

cuvintele-cheie – keywords

controlul roboților Web – robots

alte informații de interes:tipul conținutului, relația cu alte pagini,…

seo: strategii

Paginile de „acoperire” (page cloaking)

scop: oferirea de conținut diferit,în funcție de un anumit criteriu

(aici, conținut special pentru roboții de căutare)

seo: strategii

black-hat page cloakingtehnică penalizată de Google: http://youtu.be/QHtnfOgp65Q

seo: strategii

„Estetica” URL-urilor

distincția dintre conținutul static și cel dinamic(componenta query_string de la finalul unui URL)

detectarea simbolurilor “?” și “&” doc.php?var=sda4312&var2=643f545342

seo: strategii

indexarea conținutului dinamic poate fi limitatăori poate fi realizată mult mai lent

numele variabilelor transmise via GET trebuie să aibă o anumită semnificație

seo: strategii

evitarea numerelor de sesiune (SID) din URL

uzual, roboții ignoră cookie-urile

seo: strategii

evitarea numerelor de sesiune (SID) din URL

la nivel de server Web, se poate activa rescriereaURL-urilor – e.g., utilizarea mod_rewrite la Apache

la nivel de server de aplicații, inhibarea transferuluiSID-ului prin URL (PHP: php_flag sesssion.use_trans_sid off)

seo: strategii

„mascarea” URL-urilor oferind conținut dinamic

exemplificare:www.penguin.info/species/tux.html – pare static

www.penguin.info/species.php?type=tux – în realitate

seo: strategii

Rezultatul returnat clientului

de evitat paginile de eroare – e.g., 404

orice pagină de eroare poate fi convertităîntr-o resursă folositoare omului/robotului

exemple: harta sitului, legături relevante,…

seo: strategii

Rezultatul returnat clientului

se folosesc facilitățile oferite de serverul Webpentru specificarea de pagini proprii de eroare

e.g., directiva ErrorDocument la Apache

seo: strategii

Navigarea bazată pe interacțiunea cu utilizatorul

legături spre alte resurserealizate exclusiv via Javascript, Flash sau Silverlight

<p>informații despre burse <a href="javascript:sari(1);">aici</a></p>

de evitat

greșit!

Oferirea de conținut via documenteadoptând formate de date nestandardizate

de evitat

Titluri identice pentru toate paginile unui sit

de evitat

Pagini de eroare care sunt oferite de servervia codul de stare HTTP 200 Ok

de evitat

Redirecționări incorecte și/sau abuzive

de evitat

Ignorarea utilizatorilor cu nevoi speciale

web accessibility

http://webaim.org/

de evitat

Abuzul de transferuri asincrone prin Ajax

de evitat

Crearea documentului sitemap.xml

pentru a-l expedia la Google Sitemaps

complementar fișierului robots.txt

furnizează structura hipertext a unui sit Web

formate acceptate: text obișnuit, XML, RSS, Atom

detalii la http://sitemaps.org/

seo: instrumente

Strategii generale:Google Webmaster Central

http://www.google.com/webmasters/

Studierea accesului (specificării/alegerii unor metrici):Google Analytics, NetTracker, Urchin, WebTrends,…

Rafinarea cuvintelor-cheie:KeywordDiscovery, WordTracker, Google Suggest

Optimizări: Google Optimizer, YSlow Smush.it

seo: instrumente – exemple

Imposibilitatea accesării unor date transmise„în fundal” pe parcursul interacțiunii Web

motoarele de căutare nu pot indexa conținutul primit(asincron) de la server – e.g., prin Ajax

traficul „subteran” nu poate fi accesat în mod normal

roboții Web clasici nu pot interpreta programe JavaScript

seo vs. ajax

Imposibilitatea accesării unor date transmise„în fundal” pe parcursul interacțiunii Web

soluție posibilă:propunerea “Making Ajax crawlable” (Google, 2009)

disponibilă începând cu 2012

https://developers.google.com/webmasters/ajax-crawling/

seo vs. ajax

Resurse de interes

http://www.seomoz.org/resources

http://searchenginewatch.com/

http://www.slideshare.net/randfish/presentations

http://videolectures.net/Top/Computer_Science/Search_Engines

Invisible Web (Deep Web)

acea parte a spațiului World Wide Webcare nu este detectată de motoarele de căutare saude alte tipuri de aplicații de regăsire a resurselor

disponibile pe Web

Cum am putea descrie conținutul resurselor Webastfel încât să poată fi procesat „inteligent”?

Idee:specificarea unor meta-date (date privind datele)

direct în cadrul documentelor HTML

Idee:specificarea unor meta-date (date privind datele)

direct în cadrul documentelor HTML

microformatescheme de microdate HTML5

la master

Microformate(Tantek Çelik & Kevin Marks, 2004)

www.microformats.org

Microformate

utilizarea de marcaje (X)HTML pentru a desemnasemantica și/sau structura conținutului

“curentul” POSH (Plain Old Semantic HTML)

Microformate

reutilizarea unor vocabulare de termeni,disponibile liber și standardizate

Microformate

reutilizarea unor vocabulare de termeni,disponibile liber și standardizate

realizarea de adnotări semantice direct în HTMLși alte limbaje similare

prelucrare mai facilă a reprezentărilor resurselor

marcaje HTML (<div>, <span>)pentru specificarea datelor &structurii lor

„clase” CSS pentru prezentareși asocierea de descrieriale meta-datelor

structurareapaginilor Web:

precizareaînțelesului

(semanticii)conținutului

Microformate

elementare – desemnează o caracteristică unică+

compuse – specifică mai multe proprietățicare modelează un aspect de interes

– e.g., un concept (entitate): persoană, eveniment,…

rel-tag

asociază unei legături hipertext un termen (tag)– cuvânt-cheie ori subiect – ales liber de autor

(tagging content)

rel-tag

<p>Tutorial despre <a href="http://www.slideshare.net/tag/web"

rel="tag">www</a>.</p>

<p>Expertiză: <a href="http://en.wikipedia.com/wiki/Unix"

rel="tag" class="skill">UNIX</a>.</p>

XFN (XHTML Friend Network)

relații între „prieteni”: colaboratori, rude, cunoscuți,…

<a href="http://www.infoiasi.ro/~dlucanu/"

rel="met, colleague, co-worker, neighbor">

Dorel Lucanu</a>

recurgerea la XFN în cadrul sistemului WordPress

hCalendar

desemnează evenimente & orare

vezi formatul iCalendar – RFC 2445

hCalendar

<a class="url" href="http://designjamiasi2014.eventbrite.com/

<abbr class="dtstart" title="20141031">October 31</abbr> --

<abbr class="dtend" title="20141101">November 01, 2014</abbr>

<span class="summary">Design Jam Iasi #3</span> la

<div class="description">Un atelier de lucru vizând designul Web</div>

</div>

informații de contact despre persoane, organizații etc.

în conformitate cu formatul vCard – RFC 2426

specificarea informațiilor despre o persoană via hCard

hResume

modelează informații despre un CV

folosit în conjuncție cu hCard și hCalendar

hReview

desemnează opinii emise despre „ceva” – o entitate(produs, locație, eveniment, persoană,…)

<h1 class="item">Recenzie despre <a class="fn url" title="Situl FII"

href="http://www.info.uaic.ro/">situl Web al FII</a></h1>

<span class="summary title">Modern</span>,

<abbr class="dtreviewed"

title="2010-05-18T22:45:00">18 mai</abbr>

<p class="reviewer">Autor al recenziei: <span class="vcard">

<a class="url fn n" href="http://www.purl.org/net/busaco"

title="Spre situl Web al lui Sabin Buraga">

<span class="given-name">Sabin</span>

<span class="family-name">Buraga</span></a></span></p>

</div>

Microformate 2

simplifică maniera de specificare (2012)

http://microformats.org/wiki/microformats2

Microformate 2

vocabularele sunt definite pe baza unor prefixe

h- includerea unui microformatp- specificarea unei proprietăți simpleu- desemnarea unui URLdt- definirea de valori privind data & timpule- specificarea de proprietăți compuse

<img src="/content/content_about-experts/brendaneich.jpg"

alt="Brendan Eich">

<h5><a href="http://brendaneich.com/"

class="p-name fn u-url url">Brendan Eich</a></h5>

Created JavaScript, co-founded the mozilla.org project…</p>

<span class="p-category category">Technology</span>

</div>

exemplu de utilizare a microformatului hCard(în ambele versiuni)

Microformate 2

vocabulare predefinite – unele în stadiu de ciornă:

h-adr h-card h-entry h-event

h-geo h-item h-product h-recipe

h-resume h-review h-review-aggregate

Design Jam Iasi #3</a>

de la <time class="dt-start">2014-10-31</time>

până la <time class="dt-end">2014-11-01</time>, fiind organizat la

Facultatea de Informatică</a>,

<span class="p-street-address">Strada Berthelot, 16</span>,

<span class="p-locality">Iași</span>,

</span>

</section>

microformate: utilizări

GoogleIntel

MicrosoftSix Apart

Yahoo!XWiki

și multe altele

detalii la http://microformats.org/wiki/implementors

microformate: utilizări

detectarea și exportul de microformate cu extensia Operator pentru Firefox

Microdata HTML 5

alternativă la microformate

specificație W3C – Working Draft (octombrie 2013)

www.w3.org/TR/microdata/

Microdata HTML 5

posibilitatea de a specifica perechi de proprietăți(nume, valoare) „scufundate” în HTML

Microdata HTML 5

grupurile de perechi de proprietăți nume—valoare sunt denumite items

Microdata HTML 5

creare via atributul itemscope

specificarea unei proprietăți prin atributul itemprop

referire cu ajutorul atributului itemref

Microdata HTML 5

asocierea unui tip de date se face cu atributul itemtype

pentru identificarea unui item se folosește itemid

Microdata HTML 5

ca tipuri de date se pot folosi microformatele

<span itemprop="n" itemscope> <span itemprop="given-name">Tuxy</span> <span itemprop="family-name">Pinguinescu</span>

</span> </h1><img itemprop="photo" alt="Portretul lui Tux" src="tux.jpg"><p itemprop="org" itemscope>

<span itemprop="organization-name">Linux</span></p><h2>Detalii & contact:</h2>

Wikipedia</a></li><li itemprop="email"><a href="mailto:tux@penguin.org">

tux AT penguin.org</a></li></ul><address><span itemprop="adr" itemscope>

<span itemprop="street-address">Penguins Blv., 33</span> <span itemprop="locality">Penguin City</span>, <span itemprop="postal-code">740033</span> </span> </address>

</section>

Există o serie de modele de date(exprimate via microformate sau microdate)

ce pot fi indexate și folositede actualele motoare de căutare?

schema.org

colecție de vocabulare (scheme de date)– e.g., Book, Event, LocalBusiness, Movie, Offer, Person,

Place, Recipe, Review, TVSeries,… – recunoscute șiindexate de roboții principalelor motoare de căutare

Bing, Google, Yahoo!, Yandex

schema.org

colecție de vocabulare (scheme de date)– e.g., Book, Event, LocalBusiness, Movie, Offer, Person,

Place, Recipe, Review, TVSeries,… – recunoscute șiindexate de roboții principalelor motoare de căutare

Bing, Google, Yahoo!, Yandex

modeleconceptuale

a se studia și http://www.w3.org/wiki/WebSchemas

tipurile primare de date definite de schema.org

diverse proprietăți ce relaționează Integer cu alte concepte

Thing – schema cea mai generală, incluzând conceptualizăriAction

BroadcastService

CreativeWork

Intangible

MedicalEntity

Organization

Person

Product

Property

modelare de cunoștințe

(via o ontologie)

Person – modelează conceptul „persoană”http://schema.org/Person

schema.org

relațiile dintre entități sunt precizate via proprietăți

<h1 itemprop="name"><a href="index.html" title="…">Dezvoltarea aplicațiilor Web</a>

</h1><p class="slogan" itemprop="description">prezentările aferente cursului</p>

</header><article>

</article><footer>

<a href="http://www.purl.org/net/busaco" title="…" itemprop="url" accesskey="S"><span itemprop="name">Sabin Buraga</span>

</a></span>

</h6></footer>

</body>

specificarea faptului că Sabin Buraga este o persoană

recurgerea la elemente structurale și scheme de microdate HTML5

<div class="vcard">

<p>Nume: <span class="fn">Sabin Buraga</span></p><p>Titlu academic: <span class="title">Dr.</span></p>

</div>

<div itemscope itemtype="http://schema.org/Person">

<p>Nume: <span itemprop="name">Sabin Buraga</span></p><p>Titlu academic: <span itemprop="title">Dr.</span></p>

</div>

microformate↔microdateadaptare după Marco Lisci & Luisa Scarlata (2011)

Alte resurse de interes,inclusiv instrumente de validare și conversie,

sunt oferite de situl Webhttp://getschema.org/

Microformatele și microdatele HTML5sunt indexate de motoarele de căutare

Bing – http://tinyurl.com/b9mx2f2

Google rich snippets – http://tinyurl.com/3c6naq7

Yahoo! BOSS (Build your Own Search Service)http://developer.yahoo.com/search/boss/

extragerea/verificarea de date structurate via Structured Data Testing Tool

http://www.google.com/webmasters/tools/richsnippets

extragere & export de microformate, microdate HTML5 și RDFa cu extensia POSHex – Tiberiu Pasat (2013)

http://students.info.uaic.ro/~constantin.pasat/wad/

Cum ar putea fi detectate și penalizatesiturile Web care „trișează” în ceea ce privește

tehnicile SEO, eventual recurgând lamicroformate/microdate HTML5?

discuție (pentru acasă)

episodul viitor: limbajul JavaScript

CLIW 2014—2015 (6/12): Căutarea resurselor Web

Technology

Transcript of CLIW 2014—2015 (6/12): Căutarea resurselor Web

CLIW 2014—2015 (4/12): Design Web. Proiectarea siturilor Web. Design Web responsiv

CLIW 2014—2015 (7/12): Programare în limbajul JavaScript

Ghelasie Gheorghe. În Căutarea Unei Psihanalize Creştine

Dezvoltarea aplicaţiilor Web la nivel de client (cursul #6): Căutarea resurselor Web

În căutarea fericirii

C - A.W. Tozer - IN CĂUTAREA LUI DUMNEZEU

1. în căutarea formei primordiale

A. W. Tozer - IN CĂUTAREA LUI DUMNEZEU

ÎN CĂUTAREA

CLIW 2015-2016 (7/13) Limbajul de programare JavaScript

Cuprins Căutarea Căutarea în Index - sony.ro · certificat de Carl Zeiss, în conformitate cu standardele de calitate ale Carl Zeiss din Germania. Instrucţiuni pentru ecranul

PROIECT DE PARTENERIAT EDUCAŢIONAL „ ÎN CĂUTAREA ... · 76 „Proiectul educaţional În căutarea înţelesului pierdut” mi-a dezvăluit cunoştinţe importante despre mitologia

CLIW 2015-2016 (12/13) Performanța aplicaţiilor Web la nivel de client

CĂUTAREA IDENTITĂȚII

Ghid pentru căutarea unui loc de muncă ăţenilor ţ

Căutarea resurselor Web

La Toqsobeni, în căutarea urmelor strămoșilor qâpcegi, am ... · 1 La Toqsobeni, în căutarea urmelor strămoșilor qâpcegi, am dat peste mormintele ostaşilor kazahi! O Toxobeni

DIMENSIUNEA MULTIPERS - · PDF filea 3 3. DIRECŢII DE ABORDARE TRANSDISCIPLINARĂ 1. Europa în căutarea resurselor: marile descoperiri geografice ąi formarea imperiilor coloniale

CLIW 2015-2016 (2/13) Arhitectura navigatorului Web

ÎN CĂUTAREA HRANEI