Reactions to an HTTP request (HU)

[szepeviktor]

Reakciók skálája HTTP kérésekre (0–10)

0 — Kiszolgálom a kérést

• Normál 200/301/304 válasz
• Nincs extra mérés, nincs throttle
• “Ez egy sima user”

Mikor?
Low risk, jó UX.

---

1 — Logolás + megfigyelés

• Csak naplózod / taggeled: suspect=1
• Még nem lassítasz, nem blokkolsz

Nagyfiúk így: “observe-only mode”

---

2 — Soft rate limit (enyhe)

• Kicsit fékezel: pl. 60 req/perc/IP
• Túllépésnél 429 Too Many Requests
• Nincs durva büntetés, csak lassítás

Cél: ne tudd “DDOS-szerűen” crawlolni a site-ot.

---

3 — Soft delay / jitter

• Minden kérésre raksz 100–500ms késleltetést (vagy csak gyanúsra)
• Néha random jittert is
• A botok szenvednek, a legit user alig érzi

Nagyfiúk így: “tarpit light”

---

4 — Szelektív korlátozás (csak érzékeny endpointokra)

• Pl. kereső, login, sitemap, export, árlista, API, termékoldalak:

  • limit / cache-only / tiltás

• A home page még mehet

Tipikus: “protect the expensive pages”

---

5 — “Serve but degrade” (védett tartalom)

• Kiszolgálod, de:

  • csökkentett minőségű válasz
  • kevesebb adat
  • “lite” oldal
  • agresszív cache

• SEO botoknál néha külön policy

Nagyfiúk így: “graceful degradation”

---

6 — Challenge (emberteszt)

• JS challenge / cookie challenge / proof-of-work
• CAPTCHA is ide tartozik (bár azt a nagyfiúk már óvatosan)
• Addig nem kapsz rendes tartalmat, amíg “nem bizonyítasz”

Cloudflare logika: “Managed Challenge”

---

7 — Temporary block HTTP szinten

• 403 Forbidden / 401 / 451 (ritkán)
• vagy Nginx-nél 444 (kapcsolat bontás válasz nélkül)
• időzítve: 10 perc, 1 óra, 24 óra

Nagyfiúk így: “block for N minutes”

---

8 — IP reputation / ASN alapú deny a peremen

• Nem is engeded be az originig

• Blokk:

  • IP range / ASN
  • Datacenter háló (Tencent/Ali/OVH stb.)

• Hatékony, olcsó, gyors

Tipikus: “edge deny”

---

9 — Blackhole / sinkhole jelleg

• TCP szinten “furán” viselkedsz:

  • nagyon lassan válaszolsz
  • félbehagyod
  • connection limit + agresszív timeouts

• Cél: bot erőforrást pazaroljon, ne te

Nagyfiúk így: “tarpit hard / greyhole”

---

10 — Linux tűzfalban eldobod a TCP csomagot (DROP)

• iptables/nftables DROP
• vagy route blackhole
• nincs HTTP válasz, nincs handshake tovább
• full “kibelezés” IP/CIDR alapján

Ez a hardcore.
Hatása: olcsó neked, brutál a támadónak.

---

Extra: a “nagyfiúk” 2 kedvenc trükkje (amit érdemes átvenni)

✅ Pontozás → lépcsőzetes reakció

Nem azonnal tilt, hanem:

• 0–3: log + enyhe limit
• 4–6: delay + endpoint védelem
• 7–8: challenge / ideiglenes tiltás
• 9–10: edge/firewall drop

✅ “Bizonyíts” mechanizmus

A legtöbb modern WAF ezt csinálja:

• ha legit: átmegy “1 próbából”
• ha bot: elakad a challenge-en és magától kihullik

[szepeviktor]

function checkHttpHeaderOrder(): bool
{
    $expected = [
      'Accept-Encoding',
      'Upgrade-Insecure-Requests',
      'Accept-Language',
      'Accept',
      'User-Agent',
      'Host',
    ];

    return array_keys(getallheaders()) === $expected;
}

• tarpit as an Apache module (like mod_444) - runs after PHP-FPM X-Tarpit: 500 (ms)
• Hashcash in mod_lua + JS lib - SetEnvIfExpr ... POW_REQUIRED=1

[szepeviktor]

1) Honeypot linkek / csapda URL-ek

Lényege: olyan linket raksz az oldalba, amit ember sose kattint (pl. display:none), de a crawler igen.

✅ Példa:

• HTML-ben:

  <a href="/__trap__/abc123" style="display:none">x</a>

• Ha valaki kéri a /__trap__/... URL-t → instant 9–10 pont, mehet 444/DROP.

Miért jó?
Nagyon alacsony false positive, és brutál erős bizonyíték.

---

2) Canary token / csali adat

Lényege: beleteszel a tartalomba olyan “adatot”, ami csak scrapinggel kerül ki.

✅ Példa:

• egy email: marketing+olmtrap2026@domain.hu
• ha erre spam érkezik → tudod, hogy kiszedték.

Miért jó?
Nem a requestet fogja meg, hanem a szivárgást bizonyítja.

---

3) “Poisoned” vagy “watermarked” tartalom botoknak

Nem csak “lite oldal”, hanem szándékosan jelölt tartalom.

✅ Példa:

• botnak a cikk végére beteszel egy láthatatlan szöveget:

  <span style="display:none">SCRAPE_ID=aceville-20260124</span>

• ha ezt visszalátod másik oldalon → megvan a bizonyíték.

Miért jó?
Ha új IP-kkel jönnek, akkor is “ujjlenyomatot” hagynak.

---

4) Link-gráf szabotázs (csali belső háló)

Lényege: botnak olyan belső linkeket adsz, amik:

• körbe-körbe vezetnek
• “mélyítik” a crawl-t irreális módon
• és közben throttlingot kapnak

✅ Példa:

• bot kap egy extra “/archive?page=999999” jellegű navigációt
• ember nem is látja

Miért jó?
A bot idejét égeted, a te oldalad pedig szabályozott.

---

5) Válasz “alakja” manipulálva (nem tiltás, nem challenge)

Ez nagyon “fura”, de működik.

✅ Példa:

• botnak mindig ugyanazt a 200-as oldalt adod vissza (“canonical landing page”), függetlenül az URL-től
• embernek meg a valós tartalmat

Miért jó?
A bot úgy érzi “sikerült”, de semmit se gyűjt.

---

6) Dinamikus DOM / render-only tartalom

Lényege: a “lényeg” JS-renderrel áll össze, HTML-ben csak váz.

✅ Példa:

• HTML csak skeleton
• a tartalom XHR-ből jön, amit PoW / token véd

Miért jó?
A sima HTTP-s scraper megdöglik.

(Hátrány: SEO/UX-ra figyelni kell.)

---

7) HTTP fingerprinting “mélyebben” mint header

A botok sokszor “Chrome UA”-t hazudnak, de a mélyebb jeleket nem hozzák.

✅ Példák:

• TLS fingerprint (JA3/JA4)
• HTTP/2 settings és frame minták
• “sec-ch-ua” és “sec-fetch-*” konzisztencia

Miért jó?
Sokkal stabilabb, mint a sima headerek.

---

8) Árnyék rate-limit: token bucket nem IP-re

A botok váltogatják az IP-t → ezért nem elég IP limit.

✅ Példa “kulcsok”:

• UA + Accept-Language + Accept-Encoding fingerprint
• session nélküli minták
• path-szekvencia (crawl útvonal) ujjlenyomat

Miért jó?
IP-rotáció ellen véd.

---

9) “Replay trap”: ugyanazt az URL-t 1000× kéri?

Ez kifejezetten farmoknál fordul elő.

✅ Példa:

• ha 1 IP / fingerprint 60 mp alatt ugyanazt kéri 20× → az bot
• ember sosem csinál ilyet

Miért jó?
Nagyon jól szűri a “rossz scraper implementációt”.

---

10) Abuse útvonal (nem technikai, de ütős)

A nagyok csinálják, csak csendben:

• ASN / hosting provider abuse report
• upstream blacklist / WAF feed

Miért jó?
Ha tényleg datacenter farm: néha gyorsan “eltűnik”.

---

Ha ebből csak 2-t választasz (ami nálad brutál működni fog)

A te helyzetedben (Aceville/Tencent jelleg + 15 pont):

1. Honeypot URL → ha rálép, mehet azonnal 10-es reakció (DROP)
2. Token/cookie proof (akár PoW nélkül is) → stateless “bizonyíts”

Ez a kettő együtt nagyon kevés false positive mellett betonbiztos.