'Penelusuran Google tentang steroid' menghadirkan Web gelap ke dalam terang

Badan pemerintah yang menghadirkan Internet kepada kita sekarang telah mengembangkan mesin pencari baru yang kuat yang menjelaskan konten dari apa yang disebut Deep Web. 

Badan Proyek Penelitian Lanjutan Pertahanan (DARPA) mulai mengerjakan Memex Deep Web Search Engine setahun yang lalu, dan minggu ini meluncurkan alatnya ke Scientific American dan "60 Minutes." 

Memex, yang sedang dikembangkan oleh 17 tim kontraktor berbeda, bertujuan untuk membuat peta konten Internet yang lebih baik dan mengungkap pola dalam data online yang dapat membantu petugas penegak hukum dan lainnya. Sementara uji coba awal telah difokuskan pada pemetaan pergerakan pedagang manusia, teknologi tersebut suatu hari nanti dapat diterapkan untuk upaya investigasi seperti kontraterorisme, orang hilang, respon penyakit, dan bantuan bencana.

Dan Kaufman, direktur kantor inovasi informasi di DARPA, mengatakan Memex adalah tentang membuat yang tak terlihat terlihat. "Internet jauh, jauh lebih besar daripada yang orang pikirkan," manajer program DARPA Chris White mengatakan kepada "60 Minutes." "Menurut beberapa perkiraan, Google, Microsoft Bing, dan Yahoo hanya memberi kami akses ke sekitar 5 persen konten di Web."

Google dan Bing menghasilkan hasil berdasarkan popularitas dan peringkat, tetapi konten pencarian Memex biasanya diabaikan oleh mesin pencari komersial, seperti data tidak terstruktur, konten yang tidak ditautkan, halaman sementara yang dihapus sebelum mesin pencari komersial dapat menjelajahinya, dan forum obrolan. Mesin pencari biasa mengabaikan data Web yang dalam ini karena pengiklan Web - tempat perusahaan browser menghasilkan uang - tidak tertarik padanya.

Memex juga mengotomatiskan mekanisme penjelajahan web gelap, atau anonim, tempat pelaku bisnis melakukan bisnis. Halaman layanan tersembunyi ini, yang hanya dapat diakses melalui browser anonim TOR, biasanya beroperasi di bawah radar penegak hukum yang menjual obat-obatan terlarang dan barang selundupan lainnya. Di mana pernah dianggap bahwa aktivitas Web gelap terdiri dari 1.000 halaman atau lebih, White mengatakan kepada Scientific American bahwa mungkin ada antara 30.000 dan 40.000 halaman Web gelap.

Sampai sekarang sulit untuk melihat situs-situs ini dengan cara sistemik apapun. Namun Memex - yang oleh Manhattan DA Cyrus Vance Jr. disebut "penelusuran Google tentang steroid" - tidak hanya mengindeks kontennya, tetapi juga menganalisisnya untuk mengungkap hubungan tersembunyi yang dapat berguna bagi penegak hukum.

Alat pencarian DARPA diperkenalkan untuk memilih lembaga penegak hukum tahun lalu, termasuk Unit Respon Perdagangan Manusia Manhattan yang baru. Memex sekarang digunakan dalam setiap kasus perdagangan manusia yang dikejar dan telah berperan dalam menghasilkan setidaknya 20 investigasi perdagangan seks. Crawler Web supercharged dapat mengidentifikasi hubungan di antara berbagai bagian data dan menghasilkan peta data yang membantu penyelidik mendeteksi pola.

Dalam demo untuk "60 Minutes," White menunjukkan bagaimana Memex dapat melacak pergerakan pedagang berdasarkan data yang terkait dengan iklan online untuk seks. "Terkadang itu adalah fungsi dari alamat IP, tapi terkadang itu adalah fungsi dari nomor telepon atau alamat di iklan atau geolokasi perangkat yang memasang iklan," kata White. "Terkadang ada artefak lain yang berkontribusi pada lokasi."

White menekankan bahwa Memex tidak menggunakan peretasan untuk mendapatkan informasi. "Jika sesuatu dilindungi kata sandi, itu bukan konten publik dan Memex tidak mencarinya," katanya kepada Scientific American. "Kami tidak ingin mengaburkan pekerjaan ini secara tidak perlu dengan menyeret ke dalam momok pengintaian dan pengawasan" - topik sensitif setelah pengungkapan NSA Edward Snowden.

Memex mendapatkan namanya (kombinasi dari "memori" dan "indeks") dan inspirasi dari perangkat hipotetis yang dijelaskan oleh Vannevar Bush pada tahun 1945 yang menunjukkan penemuan PC, Internet, dan kemajuan TI besar lainnya selama 70 tahun ke depan. Sekarang DARPA dan Memex tampaknya akan membawa kita selangkah lebih dekat ke departemen kepolisian futuristik Philip Dick yang digambarkan dalam "Minority Report."

Putaran pengujian baru, yang akan dimulai dalam beberapa minggu, akan mencakup jaksa federal dan distrik, penegakan hukum regional dan nasional, dan banyak LSM. Menurut laporan Scientific American, itu bertujuan untuk "menguji kemampuan pencarian gambar baru yang dapat menganalisis foto bahkan ketika bagian yang mungkin membantu penyelidik - termasuk wajah pedagang atau layar televisi di latar belakang - disamarkan."

Dengan menemukan cara yang lebih baik untuk berinteraksi dan menyajikan informasi yang dikumpulkan dari kumpulan sumber yang lebih besar, "kami ingin meningkatkan penelusuran untuk semua orang. Kemudahan penggunaan bagi nonprogramer sangat penting," kata White.