Az interneten megjelenő tartalmak egyre értékesebb adatforrássá váltak. Automatizált programok naponta több millió weboldalt járnak be, cikkeket olvasnak ki, adatokat gyűjtenek és rendszereznek. A web scraping önmagában nem új technológia, de a mesterséges intelligencia térnyerésével egyre komolyabb viták középpontjába került. De hogyan működik, mire használják, és miért érzik úgy a hírportálok, hogy valaki az ő munkájukból profitál?
Mi az a web scraping?
A web scraping – magyarul leginkább webes adatkinyerésnek vagy weboldalak automatizált adatgyűjtésének nevezhetjük – egy olyan technológiai eljárás, amelynek segítségével programok automatikusan információkat gyűjtenek internetes oldalakról.
Ahelyett, hogy valaki egyesével megnyitna több száz weboldalt, elolvasná az oldalakon található információkat, majd manuálisan kimásolná az adatokat, egy erre készített program végzi el a feladatot.
A scraper nevű program képes például:
- Megnyitni egy weboldalt.
- Kiolvasni a cikkek címét és szövegét.
- Kinyerni a publikálás dátumát és a szerző nevét.
- Összegyűjteni a képeket, hivatkozásokat és egyéb adatokat.
- Az információkat adatbázisba rendezni.
- Rendszeresen visszatérni, és ellenőrizni a változásokat.
Egy egyszerű példa: képzeljünk el egy programot, amely naponta végigjárja húsz magyar hírportál oldalait, összegyűjti a legfrissebb hírek címeit, témáit és megjelenési időpontját, majd egyetlen adatbázisban tárolja azokat.
A programnak ehhez nincs szüksége emberi közreműködésre. Akár több ezer oldalt is képes feldolgozni automatizáltan.
Hogyan működik a gyakorlatban?
A web scraping általában több egymásra épülő lépésből áll.
1. A weboldal elérése
A program HTTP-kéréssel kapcsolatba lép a kiválasztott weboldallal, hasonlóan ahhoz, ahogyan egy böngésző betölti az oldalt.
2. A HTML-kód feldolgozása
A scraper megvizsgálja a weboldal forráskódját, és megkeresi azokat az elemeket, amelyek számára fontosak. Ilyen lehet a cikk címe, a szöveg, a dátum vagy a szerző neve.
3. Az adatok kinyerése
A program a meghatározott szabályok alapján kiválasztja és kinyeri a szükséges információkat.
4. Adatok tárolása
A kinyert információk adatbázisba, CSV- vagy Excel-fájlba kerülhetnek, ahol később kereshetők, összehasonlíthatók és elemezhetők.
5. Automatizálás
A folyamat időzíthető. A scraper óránként, naponta vagy akár folyamatosan ellenőrizheti a weboldalakat, és rögzítheti az új tartalmakat.
A technológia egyik előnye, hogy hatalmas mennyiségű információ gyűjthető össze viszonylag kevés emberi munkával.
Mire használják a web scrapinget?
A web scraping nem kizárólag a hírportálokkal kapcsolatos technológia. Számos iparágban használják üzleti és kutatási célokra.
Néhány gyakori felhasználási terület:
- Árfigyelés: webáruházak termékeinek és árainak összehasonlítása.
- Piackutatás: versenytársak, szolgáltatások és piaci trendek követése.
- Hírfigyelés: különböző hírportálokon megjelenő információk összegyűjtése.
- Ingatlanpiac: eladó és kiadó ingatlanok adatainak elemzése.
- Álláskeresés: nyilvános álláshirdetések összegyűjtése.
- Mesterséges intelligencia: webes tartalmak feldolgozása és elemzése AI-rendszerek számára.
A scraping tehát önmagában nem káros vagy illegális tevékenység. A kérdés elsősorban az, hogy milyen adatokat, milyen céllal, milyen feltételek mellett és milyen mennyiségben gyűjtenek.
Miért aggódnak a hírportálok?
A probléma az elmúlt években jelentősen megváltozott. Korábban a webes adatgyűjtés egyik legfontosabb célja az volt, hogy a keresőmotorok megtalálják és indexeljék az internetes tartalmakat.
A Google például automatikus robotokkal térképezi fel az internetet, hogy a felhasználók megtalálhassák a releváns weboldalakat.
A mesterséges intelligencia azonban új helyzetet teremtett.
Az AI-rendszereknek hatalmas mennyiségű szöveges információra van szükségük. Ezek az információk részben az interneten nyilvánosan elérhető cikkekből, elemzésekből, tanulmányokból és egyéb tartalmakból származhatnak.
A hírportálok számára ez több problémát is jelent.
1. A tartalmat felhasználják, de az olvasó nem jut el az eredeti oldalra
Ez az egyik legfontosabb konfliktus.
Korábban, ha valaki rákeresett egy hírre, a keresőmotor megmutatta a találatot, az olvasó pedig rákattintott a hírportálra. Ott elolvasta a cikket, találkozott a hirdetésekkel, esetleg előfizetővé vált.
Az AI-alapú keresők és chatbotok viszont sok esetben már közvetlenül válaszolnak a felhasználó kérdésére.
Ehhez feldolgozhatják több hírportál tartalmát, majd egyetlen összefoglaló választ készíthetnek.
Az olvasó így megkapja a számára szükséges információt anélkül, hogy meglátogatná az eredeti cikket.
A hírportál szempontjából ez komoly üzleti kérdés: ha kevesebb látogató érkezik, csökkenhet a reklámbevétele és az előfizető-szerzési lehetősége is.
2. Mások profitálnak az újságírók munkájából
Egy minőségi újságcikk elkészítése időt, pénzt és szakértelmet igényel.
Az újságíró információkat gyűjt, interjúkat készít, ellenőrzi a tényeket, feldolgozza az eseményeket, majd elkészíti a publikálható anyagot.
Ha egy külső szolgáltatás automatizáltan begyűjti ezt a tartalmat, és saját termékében hasznosítja, felmerül a kérdés: milyen jogon és milyen feltételekkel teszi ezt?
A kiadók szerint az eredeti tartalom előállításának költsége náluk jelentkezik, miközben az abból származó üzleti érték egy része más vállalatoknál jelenik meg.
Ez különösen érzékeny kérdés a kisebb szerkesztőségek számára, amelyek sokszor már eleve szűkös költségvetésből működnek.
3. Növekvő szerverterhelés és infrastruktúraköltségek
A scraping nem minden esetben jelent néhány egyszerű lekérdezést.
Egy agresszív automatizált program rövid idő alatt több ezer vagy akár több százezer kérést is küldhet egy weboldalnak.
Ennek következménye lehet:
- Megnövekedett szerverterhelés.
- Magasabb tárhely- és adatforgalmi költségek.
- Lassabb oldalbetöltés.
- Valós látogatók számára is romló felhasználói élmény.
- Szélsőséges esetben szolgáltatáskiesés.
A kiadóknak ezért nemcsak a tartalom felhasználásával, hanem az infrastruktúrájuk védelmével is foglalkozniuk kell.
4. A tartalom ellenőrzése és felhasználása egyre nehezebb
A hagyományos keresőmotorok általában hivatkozást biztosítanak az eredeti forrásra.
Az AI által generált válaszoknál azonban nem mindig egyértelmű, hogy melyik információ pontosan honnan származik.
A hírportálok számára fontos kérdés az attribúció, vagyis az eredeti szerző és kiadó megfelelő feltüntetése.
Emellett az is probléma lehet, ha egy cikk részletei pontatlanul, hiányos kontextussal vagy félrevezető összefoglalásban jelennek meg.
Minden webes adatgyűjtés illegális?
Nem. Fontos különbséget tenni a technológia és annak felhasználási módja között.
A nyilvánosan elérhető weboldalak automatizált feldolgozása önmagában nem jelenti azt, hogy valaki szerzői jogot sért.
Az Európai Unióban a szerzői jogi szabályozás külön foglalkozik a szöveg- és adatbányászattal (Text and Data Mining, TDM).
A 2019/790/EU irányelv 4. cikke bizonyos feltételekkel lehetővé teszi a jogszerűen hozzáférhető tartalmak szöveg- és adatbányászati célú felhasználását. Ugyanakkor a jogosultak megfelelő módon fenntarthatják jogaikat, például géppel olvasható formában.
Ez különösen fontos a kereskedelmi célú AI-fejlesztések esetében.
A jogi helyzetet tovább árnyalja, hogy a tények, az adatok, az eredeti szöveg és egy szerzői jog által védett mű nem azonos kategóriák. Az sem mindegy, hogy valaki keresőindexelést végez, AI-modellt tanít, vagy egy teljes újságcikket másol át saját szolgáltatásába.
A weboldal tulajdonosának tehát nemcsak technikai, hanem szerzői jogi és adatvédelmi szempontokat is figyelembe kell vennie.
Hogyan védekezhetnek a weboldalak?
A weboldalak üzemeltetői többféle technikai megoldást használhatnak az automatizált adatgyűjtés szabályozására.
robots.txt
Ez egy egyszerű szöveges fájl, amely a weboldal gyökérkönyvtárában található. Segítségével a weboldal üzemeltetője jelezheti a keresőrobotoknak és más crawlereknek, hogy mely tartalmakhoz szeretne hozzáférést engedélyezni vagy tiltani.
Például:
User-agent: *
Disallow: /private/
User-agent: GPTBot
Disallow: /Az első szabály minden robot számára tiltja a /private/ útvonal bejárását, a második pedig a GPTBot számára az egész weboldal elérését jelzi tiltottként.
Fontos azonban, hogy a robots.txt nem biztonsági rendszer és nem hozzáférés-vezérlés. A szabályok betartása az adott robot együttműködésétől függ.
IP-alapú korlátozás és botvédelem
A weboldalak forgalomelemző és biztonsági rendszerekkel felismerhetik a szokatlan lekérdezési mintákat, korlátozhatják a túl gyakori kéréseket, illetve blokkolhatják a gyanús forgalmat.
Tartalomhozzáférés szabályozása
Egyes kiadók regisztrációhoz, előfizetéshez vagy más jogosultsághoz kötik a teljes cikkek elérését.
Jogfenntartás és licencelés
A kiadók géppel olvasható formában is jelezhetik, ha nem kívánják engedélyezni tartalmaik bizonyos szöveg- és adatbányászati felhasználását. Emellett külön licencmegállapodásokat köthetnek AI-fejlesztőkkel.
Új konfliktus az AI-vállalatok és a médiacégek között
A vita már nem csupán elméleti.
2026 novemberében újabb európai jogi vita került a figyelem középpontjába: az Európai Unió Bíróságának egyik főtanácsnoka a Google Gemini és a sajtótartalmak felhasználásával kapcsolatos ügyben fogalmazott meg előzetes jogi álláspontot.
Az ügyben többek között az a kérdés merült fel, hogy milyen feltételek mellett használhat fel egy AI-szolgáltatás sajtócikkeket, különösen akkor, ha a tartalom hozzáférési korlátozások megkerülésével vagy felismerhető formában kerül felhasználásra.
A főtanácsnoki indítvány nem azonos a bíróság végleges döntésével, de jól mutatja, hogy a webes tartalmak AI-célú felhasználása egyre komolyabb jogi kérdéseket vet fel.
A médiapiac más szereplői is közös fellépést sürgetnek. Több jelentős brit médiaszervezet például olyan együttműködés kialakításán dolgozik, amely egységesebb technikai és licencelési kereteket teremtene a kiadók tartalmainak felhasználásához.
Mi következik mindebből?
A web scraping nem fog eltűnni. Az automatizált adatgyűjtés az internet működésének fontos része, és a mesterséges intelligencia fejlődésével várhatóan még nagyobb jelentősége lesz.
A kérdés inkább az, hogy milyen szabályok között működik majd.
A hírportálok és a tartalomkészítők azt szeretnék, ha az általuk előállított értékes információk felhasználása átlátható, ellenőrizhető és megfelelően díjazott lenne.
Az AI-fejlesztőknek ugyanakkor nagy mennyiségű, változatos és naprakész információra van szükségük ahhoz, hogy egyre hasznosabb szolgáltatásokat építsenek.
A két érdek nem feltétlenül zárja ki egymást. A jövő egyik lehetséges iránya az átlátható adatfelhasználás, a géppel olvasható jogfenntartás és a kiadók, valamint az AI-vállalatok közötti licencmegállapodások elterjedése.
Egy dolog azonban biztos: az internet tartalma egyre nagyobb üzleti értéket képvisel. A következő évek egyik fontos kérdése az lesz, hogy ki férhet hozzá ehhez az értékhez, milyen feltételekkel, és ki részesül az abból származó bevételből.
Szerkesztési és forrásmegjegyzések
A cikk hátteréhez az alábbi forrásokat kerültek felhasználásra elsősorban:
-
Európai Bizottság – AI és szerzői jog: AI and copyright compliance – TDM, jogfenntartás és AI Act.
-
EUIPO – Copyright and GenAI: Szerzői jog és generatív AI – a jogfenntartás technikai lehetőségei.
-
IETF – RFC 9309: Robots Exclusion Protocol – a robots.txt működése.
-
Reuters, 2026. november 3.: Google és a sajtócikkek AI-felhasználása – aktuális európai jogi vita.
-
Akamai: The Real Cost of AI Bots – a scraping infrastruktúrára és kiadói bevételekre gyakorolt hatása.