Byla by takováto služba legální?

[Waseihou]

Mějme server který nabízí následující službu:

1. Server uchovává bloky dat o velikosti 128 kilobajtů a jejich MD5 hashe. Libovolný uživatel může získat libovolný blok dat tak, že zadá do adresy MD5 hash bloku (třeba http://dejmi.to/data/base64/md5/6211d7e ... 474add9b92) a následně tento blok obdrží.

Při prvním startu serveru je vytvořena množina náhodných bloků pomocí pseudogenerátoru náhodných čísel či dokonce hardwarového generátoru TRNG.

2. Uživatel může na server nahrát blok libovolných dat S o velikosti 128KB, který je zpracován následujícím způsobem:

Jsou náhodně vybrány libovolné dva již uložené bloky X1 a X2 a s těmito je blok dat S zkombinován pomocí operace xor do bloku Z:
Z = S xor X1 xor X2
Blok S je zahozen a blok Z je uložen na server a je pro něj vypočítán hash md5(Z).
Uživateli je vrácen seznam následujících hodnot:
md5(Z), md5(X1), md5(X2)
Server neukládá datum uložení bloků. Hodnoty jsou seřazeny podle abecedy pomocí běžných knihovních funkcí porovnávajících podle ASCII, nelze tedy určit ani pořadí uložení bloků na server tak, že md5 posledního bloku by byla na konci seznamu.

Toto je všechno, co služba dělá, nic víc, nic míň. Může být tato služba nelegální?

[Zdenek.Stepanek]

Služba jako taková asi ano, ale půjdou (teoreticky) po tom webxichtu, kde je "nahraj film" a "stáhni film".

Ovsem pocitat 16384 hashu a xoru pro 2GB soubor, to je slusnej hardcore.

[Waseihou]

A co pokud seznam hashů bude uložen v darknetu, protože sdílet seznam hashů pro ten "film" je mnohem méně datově náročné než sdílet celý film v darknetu přímo? Takový setup půjde těžko právně napadnout, nebo se pletu?

Jinak ta web adresa je spíš příklad, prakticky by ta služba posílala soubory pomocí UDP, těžko říct něco o efektivitě. Pokud by takovouto službu provozovalo třeba milion uživatelů a nějak by se spočítalo kteří uživatelé mají který blok, tak by to asi fungovalo. Na tomto principu funguje zajímavý ale mrtvý projekt OFF system.

Jinak na každý blok lze pohlížet jako na reprezentaci nějakého přirozeného čísla, a na žádné přirozené číslo se copyright nevztahuje.

http://en.wikipedia.org/wiki/OFFSystem

OFF derives its anonymity from the following:
No source file content is stored in the block cache, only blocks that consist of provably random data.
No source file content is searched for on the network.
No source file content is transmitted over the network.
(No block in the cache is copyrightable by itself, because numbers - however large - cannot be subject to copyright (and neither would be small parts of a copyrighted work).)
The original uploader remains unknown, because blocks are dispersed into the network and therefore downloading is done from multiple sources.
During disperse, the usage of the block cannot be stated, because blocks are re-used in other contexts to re-assemble other source file blocks. (TODO that is true also for retrieve)
(No block can be copyrighted without logical contradictions, because blocks used for re-assembling a source file block are re-used for re-assembly of other source file blocks. It is undecidable who would have copyright on a block, which has several meanings. Everyone would have copyright on everything.)
If the OFF-internal search function is used, search terms are untraceable to its originator, because the search request is forwarded to the next node and its results back to that node instead of directly to the originator. It is thus not possible to decide whether a node is the originating node or a node doing a search request on behalf of another node.
TODO add digital copyright note

Na idei je dobré, že pokud by někdo udělal takové úložiště a pak někdo další začal budovat nějaký ten megasuperduper upload využívající tyto servery třetí strany, tak pokud shodí webxicht, tak nebude problém ho nahodit kdekoliv jinde.

Kdyby kamarád kim dot coma provozoval takovouto službu a megaupload toho využíval a ukládal jen ty seznamy hashů a webxichtoval ty soubory, potom další nahození po zabavení by byla otázkou chvíle pokud by existovala záloha hashů.

[Petr.Nemecek]

Zajímavá otázka. Z právního hlediska pokud legálností myslíš právní neprůstřelnost, tak bych řekl, že legální to je do tý doby než to začne bejt velký a někdo si proti tomu nechá napsat zákon (případně to USA vyhodnotěj jako hrozbu národní bezpečnosti a pak se nehledí na nic). Z hlediska aktuálního právního řádu ČR imho nenapadnutelné.

V čem ale vidím smrt toho projektu je technická překombinovanost, lidi chtěj stahovat snadno a rychle a tohle mám 150% overhead a bůhví jakou výpočetní náročnost. Řešení, ač dobře anonymní, kde kvůli 10 GB musím stáhnout 25 GB a předpokládá se i odesílání 10+GB, není za současné situace pro masou veřejnost v naší republice akceptovatelné. Tohle je (naštěstí) zbytečně těžkej kalibr v vhodnej třeba do Íránu nebo číny.

[Waseihou]

Ten overhead není tak vysoký:

Soubor je rozdělen do bloků s1, s2, ..., sn

každý blok je nahrán někam a tam zxorován se dvěma dalšími, výsledek uložen jako zi a uploaderovi je dán hash toho zi, tedy md5(zi)

takže uploader stáhne md5(z1),md5(x1),md5(x2), md5(z2),md5(x50),md5(x2), ..., md5(zn), md5(x1),md5(x66)

md5 hashe jsou poměrně krátké

z toho se udělá popis jak složit soubor, to je něco jako torrent file, ten už se obvykle vejde do těch 128 KB, takže se postup zopakuje s tímto jedním blokem D, výsledkem jsou hashe md5(D), md5(x13), md5(x18) třeba, a tyhle už se zveřejní jako string, dost podobné magnetlinku

Stahující nejdříve stáhne deskriptor a pak bloky zi, ty nemusí být na jednom serveru, ale třeba distribuované mezi milion userů, podle toho jak je síť vytvořena...

Některé bloky xi mohou být použity vícekrát pro xorování různých zi, takže se stáhnou jenom jednou, uživatel také udržuje cache již stažených bloků které mohou být znovu použity. Pokud ten overhead chápu dobře tak pro stáhnutí 1GB užitečných dat je třeba stáhnout v průměru 1.5GB dat, pokud bychom chtěli další vrstvu obrany tím že vše bude zveřejněnno jako Base64 text chráněný svobodou slova, tak ještě vynásobit 1.37, tedy bude třeba stáhnout 2GB dat. Nebo to chápu špatně?

Minimálně je to o mnohem lepší efektivita než u darknetu kde podle toho jejich vzorce je overhead 900% - 2100%, kdežto tu je nějakých 200%. Darknet se hodí tak na distribuci těch magnet linků. Jinak tahat dvojnásobně dlouho je rozumná daň za zvýšenou míru bezpečnosti.

Je možné že ten overhead chápu špatně a overhead 100% znamená že opravdu stáhnu dvojnásobek dat. Ale i tak to furt není tragédie.

[Zdenek.Stepanek]

Ja myslim, ze namisto vymejsleni bejkovin by jsme meli zatocit s dementnima zakonama a vratit se ke starymu a osvedcenymu FTP.

[Petr.Nemecek]

Ja myslim, ze namisto vymejsleni bejkovin by jsme meli zatocit s dementnima zakonama a vratit se ke starymu a osvedcenymu FTP.

a) To se nevylučuje.
b) Je to off-topic.
c) FTP je starý, jestli je dobrý je už dost diskutabilní.

Overhead 150 % znamená 2,5 GB na 1 GB užitečných dat (payload).

Ale i kdyby to mělo overhead 0 %, lidi to stejně masově používat nezačnou, zatím (naštěstí) nemají dostatečnou motivaci a lidi jsou většinově líní se učit něco novýho.

[Waseihou]

To asi ano, to je pravda, nejtěžší je přimět lidi něco používat. OFFsystem i další klienti této sítě jako je BlocksNet skončili na tom že uživatelská základna byla příliš nízká, takže díky způsobu distribuce bloků se snadno stalo že blok v síti vůbec nebyl dostupny a výsledný soubor vůbec nešlo poskládat. Přitom způsob distribuce bloků by v případě velkého množství uživatelů fungoval naopak velice dobře a byl by užitečný.

Dovedu si ale představit, že by obdobný systém mohl fungovat jako distribuovaná cache pro bittorrent, čímž by se systém rozšířil k lidem. Dovedu si to představit tak, že by existovala služba běžící na pozadí a toto činící, a k ní by existoval plugin pro konkrétní bittorrent klient, který by ji využíval. Ten kdo si dovedl nainstalovat alespoň bittorrent klienta by zajisté byl schopen nainstalovat a rozjet další program a plugin, časem by to mohly některé klienty přidávat přímo do instalačky. Lidi nebudou ochotni migrovat na anonymější platformu jen tak, takže je třeba je motivovat. Pro torrenty s malým množstvím seedu by toto byla spása, v kombinaci s DHT by získali velké množství seedu od nichž by tahali data a zatížení by v ideálním případě bylo rovnoměrné.

Jak by služba fungovala? No mohl by se vykrást a upravit už existující OFFsystem klient, že...

A tam to mají jak? Každý klient si vygeneruje RSA certifikát a veřejný a soukromý klíč, potom se vygeneruje jeho veřejné ID jako md5sum zřetězeného veřejného klíče, certifikátu a možná nějaké soli. Pokud někdo uploaduje tak jeho bloky jdou pouze do těch uzlů, kde hammingovská vzdálenost mezi md5 bloku a ID uživatele (které je také md5ka) je menší než nějaká předdefinovaná hodnota. Tímto způsobem je v případě dostatečného množství uživatelů zajištěna rovnoměřná distribuce bloků (takže nikdo nemá "dostatečnou" vinu na "spiknutí" třeba za účelem porušování autorských práv, protože sdílí jen pár bloků které jsou navíc užity při generování dalších, tedy možnost hodnověrného popření "plausible deniability") a zároveň jejich replikace. V ideálním případě je seznam uživatelů sítě veřejný a každý je tedy snadno dostupný, anonymita je odvozena od oné distribuce bloků mezi všechny uživatele, jejich znovuužití a oddělení či skrytí zdroje hashů od samotného systému.

Je dovoleno požadovat pouze takové bloky dat, které leží v hammingovské vzdálenosti dotazovaného uzlu, pokud někdo opakovaně žádá blok mimo tuto vzdálenost, tak si ho dotazovaný uzel přidá na blacklist. Výjimku tvoří situace kdy se dotazující zeptá dotazoveného na blok v jeho hammingovské vzdálenosti, potom se dotazovaný může v určitém časovém horizontu zeptat dotaujícího uzlu na tento blok, protože se dá předopkládat že ho dotazující odněkud získal, a pokud ho dotazovaný nemá, tak ho získá a může sdílet, protože mu dle hammingovské vzdálenosti "náleží". Tímto se oblíbená data dostanou na místo určení a zároveň se replikují.

Budiž ke cti autorům OFFsystem že v podstatě vymysleli princip velmi podobný Kademlia DHT ještě před tím, než samotná Kademlia byla vymyšlena, mimochodem autoři v době implementace o DHT nevěděli.

Použití pro bittorrent:

Bittorrent klienty také stahují bloky a mohou k nim počítat md5 hashe, proč by se tohle nemohlo do takovéto sítě nějak rozumně ukládat? Někde by existovalo alternativní DHT které by překládalo bralo md5ky jako klíče k seznamu bloků z nichž lze poskládat původní blok. Chtělo by to ale aby taková cache nějakým způsobem upřednostňovala obsah který je sice málo oblíbený (málo seedů) ale není dlouhodobě úplně mrtvý (fake soubory), to už by ale někdo musel vymyslet jestli takový algoritmus vymyslet vůbec lze.

a) To se nevylučuje.

Pirátský brainstorming, třeba to někdy, někde, někomu, v nějaké době bude užitečné