2. rész A web feneketlen mélységeiről

A cikk előző részében tisztáztuk, hogy mit tartalmaz a felszíni (surface) web, és mi van egy kicsit mélyebben, a deep web-en. Cikkünk mostani részében pedig a web „feneketlen” mélyégeiről is beszéljünk!

Először is ismételjük meg az „ökölszabályunkat”:
Ha egy oldal megtalálható a Google segítségével, akkor az a felszíni web része, ha pedig nem, akkor az az oldal a mély (deep) web részét képezi.

Tisztáztuk már azt is, hogy tévedés azt gondolni, hogy a deep web csupa rossz dolgot tartalmaz.

Ha egy kicsit el akar tűnődni a kedves olvasó azon a dolgon, hogy a felszín miért nem minden, gondoljon arra, hogy rengeteg olyan nem publikus oldal van, amelyeket pl. karbantartási célokra használnak. Létezhetnek nem publikált vagy nem bejegyzett blogok, kép- és videogalériák, weboldalak belső mappái, amelyeket még vagy már nem akarnak közzétenni, és rengeteg további tartalom, amit nem lát(hat)nak a keresők.
A neten is publikált újságok cikkeit nem mindig tudják indexelni a keresőmotorok. Saját tapasztalatunk is az, hogy egy adott témában (keresőkifejezésre) adott válaszként rengeteg találat lesz, de ha valami kevésbé általános témára keresünk, akkor jó eséllyel csak az adott újság keresőfunkciójával fogjuk csak megtalálni a keresett tartalmat.
Minél régebbi dolgot szeretnénk megtalálni, annál valószínűbb, hogy a keresőmotor már nem találja meg, így egy korábban elérhető tartalom is könnyen eltűnhet a szemünk elől, és a rejtett web részévé válhat.

Az eddig elmondottak alapján könnyen eljuthatunk addig a következtetésig, hogy annak ellenére, hogy valami a rejtett web része, még nagyon fontos is lehet. A deep web hihetetlen mennyiségű információ tárháza: adathálózatok, gazdasági, pénzügyi, oktatási vagy egészségügyi információk, képek, hanganyagok, videóanyagok stb., napestig folytathatnánk a felsorolást.
A fentiekből egyenesen következik az, hogy amilyen ütemben nő a teljes web mérete, ezzel együtt egyre több lesz a nehezen fellelhető adat is.
Ezért nagyon fontos, hogy a programozók egyre hatékonyabb keresőmotorokat fejlesszenek, így növelve a keresőmotorok által elérhető adathalmazok számát, vagyis a témánk szerinti jéghegy víz feletti, látható részét. Mindezt ráadásul úgy kellene megoldani, hogy az információáradat ne sodorja el az egyszerű nézelődő felhasználót.
Természetesen ez az egész nem csak arról szól, hogy Te vagy Én könnyebben megtaláljuk a világ legjobb paprikás krumpli receptjét.
A hatékonyabb keresés nagy segítség lenne kutatási területeken is. Például könnyebben lehetne tudományos publikációkat találni. Tegyük fel, hogy hidat akarok építeni, vagy éppen valamilyen betegségre gyógymódot keresek, fontos, hogy ismerjem a legújabb kutatásokat az adott témában.
A rejtett web kiaknázása egy remek kihívás, többek között, és nem mellékesen technikailag is.

Ha még mélyebbre „merülünk” a Web mélységeiben, megtalálhatjuk a sötét oldalt is, a dark web-et, ahol a felhasználók már tudatosan rejtik el az adataikat a világ elől. A dark web -en elrejtett tartalmak pedig legtöbbször csak speciális böngészők alkalmazásával érhetőek el, melyek segítenek lebontani a sötét web rétegeit. A dark web elérését támogató szoftverek teljes anonimitást biztosítanak, aminek eredményeképpen sem az adatok forrása sem a célhely nem publikus.

...Szóval a dark web oldalai nem érhetők el a közismert böngészőkkel, elérésükhöz speciális szoftverek telepítésére van szükség. Ezek közül a speciális „búvárprogramok” közül a három legismertebb programot a Tor, az I2P és a Freenet szolgáltatja, a legnagyobb forgalmat pedig a Tor bonyolítja le közülük. A három szolgáltató a rajtuk keresztül áramló adatforgalmat titkosítja, így a végfelhasználók IP-címei nem, vagy csak más felhasználók IP-címeivel együtt, ömlesztve azonosítható. A szolgáltatók titkosító programjai rendszerint az ügyfeleik által felkeresett weboldalak IP címeit is elrejti.

Elég csak a dark web felszínét megkapirgálni, vagyis a hagymahéj-szerűen (megosztásokon, chatprogramok vagy videómegosztó beágyazások segítségével) tovább bontható szájtok külső rétegeit, máris mindennel találkozhatunk, amire egy mélységi dark web búvár csak vágyakozhat.
A törvényeket elkerülők, a bűnözők világa ‒ Virtuális valutaváltók és fegyverboltok mellett számos, a Google vagy a Bing vagy egyéb böngészők által nem elérhető pornóoldalt is lehet találni. A dark web továbbá népszerű a drogdílerek, a lopott személyi adatokkal házalók, de a feketepiaci kereskedők, például műkincsdílerek körében is.

A fények a sötétben ‒ Ugyanakkor vannak olyan emberek is, akiknek egészen más okból van szüksége a dark web által nyújtott nagyobb védelemre. Számukra (például a totalitárius diktatúrákban, vagy egyes alattomosan működő politikai elnyomó rendszerekben az adott rendszer ellen küzdő politikai aktivistáknak) a dark web nyújtotta névtelenség biztonságot nyújthat akár a kommunikációjukban is.
A magukat demokratikusnak mondó országokban tisztességes szándékkal rejtőzködők is jól tudják használni a dark web-et ‒ pl. az újságírók is ‒ ugyanis a dark web lényegesen hatékonyabban képes biztosítani az (pl. a hír- és adatforrások) anonimitást, mintha a világháló átláthatóbb rétegein keresztül bonyolítanák az információáramlást. Pontosan ezért és egyáltalán nem csak úgy rendelkezik dark webes jelenléttel a Forbestól kezdve a Vice-on át a Guardianig minden valamirevaló angolszász médium is.

Érdekes, hogy a rejtőzködés leggyakrabban használt eszköze, a Tor a sikereit az amerikai haditengerészetnek köszönheti. Politikai akciók kommunikációs céljaira hozták létre, segítségével a lelepleződés veszélye nélkül kommunikálhattak.
Cikkünkben, és tematikus oldalainkon sem szándékozunk részletesen bemutatni, hogy hogyan is működik a dark web.

Beszéljünk inkább befejezésül a web felszínének és a mély webnek az összefüggéseiről:

A mély web egyre csak mélyül. Az emberiség összes tudásmennyiségének növekedése és az egyszerűen származtatható alapadatok és információk tárolása minden nap egyre hatalmasabbá váló tömeget jelen, és ez nagyon megnehezíti erőfeszítéseinket, hogy mindent, amit hasznosítani tudunk, elérjünk, és megismerjünk. Mára talán ez a legnagyobb kihívás az interneten, amit saját magunk hoztunk létre.
A programozók egyre tovább javítják a keresőmotorok algoritmusait, és így alkalmasabbá teszik ezeket a web mélyebb rétegeinek felkutatására. Ezzel a munkával a kutatókat és a vállalkozásokat támogatják, oly módon, hogy korábban soha nem elérhető adnak a kezükbe a mély web rejtett információinak felhasználására.
Az intelligens keresőmotorok elsődleges feladata nem egyszerűen csak az információ megtalálása. A felhasználó legfontosabb célja az, hogy a legrelevánsabb információkat találja meg. Ha ez nem sikerül, a felhasználó elmerül a kereső által megjelenített adattengerben, és a következőkben esetleg soha többé nem fogja használni ezt a válaszolni képtelen keresőt.
A big data (magyarul a nagy adathalmazok) problémája pontosan ebből ered. A nagy adat alatt azokat az adatsorokat értjük, amelyek olyan hatalmasak, hogy kezelhetetlennek és inkoherensnek tűnnek. Mivel az internet hihetetlenül gyorsan növekszik, az egész világunkat elárasztja az adatokkal, és mindenkinek problémássá válik az, hogy értelmezhesse azokat ‒ beleértve még az összes hatalmas számítógépet is a Bing és a Google központjában.
Abból eredően, hogy az internet folyamatosan növekszik, a nagyvállalatok is egy több és több pénzt fordítanak az adatmenedzsmentre és -elemzésre, a céljuk pedig ezzel a saját szervezetük működőképességének megőrzése és a versenytársaikkal szembeni versenyelőnyök megszerzése. Az adatbányászat, és a mély web felfedezése fontos része ezen vállalatok üzleti stratégiáinak. Azok a vállalatok, amelyek megtanulják ezen adatok saját céljaikra történő felhasználását, esteleg képesek lehetnek új technológiáikkal saját céljaiknak megfelelő változásokat elérni a környezetükben. Azok viszont, akik csak a web felszínére támaszkodnak, nem fognak tudni versenyezni az előbbiekkel, tehát lemaradnak.

Nem meglepő tehát, hogy a mély web továbbra is elbűvöli, de zavarba is hozza mindazokat, akik az internetet odafigyelve használják. Olyan lenyűgöző tudásmennyiséget tartalmaz, amely technikailag és fajként is segíthet nekünk, amikor más információcsatornákhoz kapcsolódik. Természetesen a sötétebb oldala mindig is leselkedni fog, ahogyan a leselkedés az emberi természet része is. A mély web nemcsak az internetre, hanem az emberi fajra is kiterjedt, szövevényes lehetőségekre utal.