Beranda › Blog › X v11.90 Articles Scraper

X v11.90 Articles Scraper: threadgrab Long-Form 2026

11 Juni 2026 · 8 menit baca · oleh ThreadGrab

Jika Anda melakukan scraping X Articles dengan skrip yang berfungsi pada Maret 2026, kemungkinan skrip itu berhenti bekerja pada akhir Mei. Rilis v11.90 aplikasi seluler X memindahkan entri See All Articles dari tab halaman profil yang tersembunyi ke kontrol bersegmen tingkat atas, dan di belakang layar ia menukar endpoint REST publik dengan rute GraphQL baru. Scraper yang melakukan hard-code pada URL lama sekarang mendapatkan 200 dengan body kosong, format id artikel berubah dari numerik 18-digit menjadi base64 19-digit, dan body artikel kini berupa JSON blob dengan span entitas bernama alih-alih teks biasa. Postingan ini membahas apa yang berubah, mengapa scraper lama Anda rusak, dan cara menggunakan API threadgrab untuk mengambil tata letak v11.90 baru sebagai Markdown bersih dalam satu panggilan.

threadgrab telah diperbarui untuk menangani perubahan v11.90 secara native. Di bawah ini adalah referensi field baru, dua contoh kode siap pakai, dan perbandingan dengan dua pendekatan lain yang telah dicoba pengembang (X GraphQL mentah, dan proyek tweet.md). Jika Anda memelihara alat arsip X publik atau membangun data pelatihan LLM dari kreator long-form, ini adalah jalur terpendek menuju output yang berfungsi pada tahun 2026.

Apa yang Diubah X v11.90 pada Tata Letak Articles

Tiga hal berubah, dan semuanya independen — sebuah scraper dapat bertahan terhadap satu atau dua perubahan tetapi tidak ketiganya sekaligus.

1. Entri See All Articles dipindahkan

Sebelum v11.90, tautan "See All Articles" adalah sebuah tab di halaman profil kreator, tiga baris di bawah Posts, Replies, Media, dan Likes. Di v11.90 ia menjadi item pertama dalam kontrol bersegmen baru di bagian atas header profil, bersebelahan dengan Posts / Replies / Media. Perubahan yang terlihat kecil, tetapi permintaan yang mendasarinya berubah: tab lama memanggil /Articles/search.json?include_replies=false, entri baru memanggil /i/api/graphql/<hash>/ArticleTimeline. Apa pun yang di-hard-code ke jalur lama sekarang mendapatkan 200 dengan array kosong.

2. Format id artikel berubah

Id artikel lama adalah string numerik 18-digit (misalnya 1823456789012345678). Id baru adalah string base64 19 karakter dengan campuran huruf besar/kecil dan digit (misalnya a1B2c3D4e5F6g7H8i9J0). Id baru juga buram — ia tidak menyandikan timestamp publikasi seperti yang lama, sehingga scraper tidak dapat menyimpulkan tanggal publikasi dari id saja. URL yang berfungsi di bulan Maret sekarang 404 karena fragmen id ditolak oleh lapisan routing.

3. Body artikel kini berupa daftar JSON entitas bernama

Body lama adalah teks biasa dengan tanda bintang seperti markdown untuk tebal (**teks**) dan pola URL sudut untuk tautan. Body baru adalah array JSON dari span entitas, di mana setiap span memiliki field type (text, bold, link, mention, hashtag, media_ref) dan payload. Scraper teks naif kehilangan format karena mereka menggabungkan span text tanpa melintasi span bold, link, dan mention. Frasa tebal seperti **Freedom of Reach** tiba sebagai tiga span terpisah: span text berisi string kosong, span bold berisi Freedom of Reach, dan span text akhir. Jika dirangkai dengan salah, tebalnya hilang.

Bagaimana threadgrab Menangani Tata Letak Baru

API profil threadgrab membungkus ketiga perubahan. Anda memberikan URL artikel publik atau nama pengguna, dan threadgrab mengembalikan body Markdown datar beserta metadata. Logika konversi menelusuri span entitas bernama dalam urutan dokumen dan menghasilkan Markdown standar: text menjadi teks biasa, bold menjadi **teks**, link menjadi [teks](url), mention menjadi @username, hashtag menjadi #tag, dan media_ref menjadi ![alt](image_url) dengan teks alt diambil dari field alt_text span jika ada.

Hasilnya adalah string Markdown yang berputar bersih melalui renderer mana pun (md2rich, GitHub, Obsidian, pratinjau VS Code, md2pdf). threadgrab tidak menciptakan format yang tidak ditulis oleh penulis asli — jika penulis tidak menebalkan frasa, output tidak akan menebalkannya.

Pengambilan artikel tunggal (curl)

curl -s "https://threadgrab.com/api/profile?url=https://x.com/jack/status/a1B2c3D4e5F6g7H8i9J0" \
  | jq '.article | {title, author, published_at, body_markdown}'

Responsnya adalah objek JSON dengan lima field tingkat atas: title (string), author (objek dengan username, display_name, verified), published_at (string ISO 8601), body_markdown (Markdown yang diformat), dan media (array objek {type, url, alt_text} untuk gambar, video, dan jajak pendapat). Waktu respons rata-rata di edge Cloudflare AS bagian timur: 1,1 hingga 1,4 detik untuk artikel 2.000 kata, 0,6 hingga 0,9 detik untuk artikel 500 kata.

Batch profil (curl dengan paginasi kursor)

USERNAME="naval"
CURSOR=""
LIMIT=20

while true; do
  RESP=$(curl -s "https://threadgrab.com/api/profile/${USERNAME}/articles?cursor=${CURSOR}&limit=${LIMIT}")
  echo "$RESP" | jq '.articles[] | {title, published_at, id: .article_id}'
  CURSOR=$(echo "$RESP" | jq -r '.next_cursor')
  [ -z "$CURSOR" ] || [ "$CURSOR" = "null" ] && break
  sleep 1
done

Perulangan ini menelusuri feed Articles kreator halaman demi halaman. Setiap panggilan mengembalikan 20 artikel ditambah string next_cursor; ketika next_cursor kosong atau null, Anda telah mencapai akhir feed publik. Tidur satu detik di antara panggilan menjaga tingkat permintaan pada batas lunak 1 req/s/IP. Kreator dengan 200 artikel membutuhkan waktu sekitar 11 detik dari awal hingga akhir, termasuk overhead tidur.

Referensi Field: Bentuk Respons threadgrab v11.90

Objek JSON lengkap yang dikembalikan oleh endpoint artikel tunggal memiliki struktur di bawah ini. Field-field ini stabil per threadgrab v1.18 (Juni 2026).

Field body_markdown adalah yang paling penting bagi sebagian besar pemanggil. Ini adalah string tunggal dengan baris baru yang dipertahankan dari sumber, dan sintaks tebal / tautan / sebutan / tagar / gambar dirender sebagai Markdown standar yang akan diinterpretasikan dengan benar oleh renderer mana pun. Jika Anda hanya membutuhkan teks biasa, salurkan hasilnya melalui sed atau alat Markdown-ke-teks favorit Anda untuk menghapus sintaks — konten teks asli dapat diperoleh kembali dalam satu langkah.

Perbandingan: threadgrab vs GraphQL Mentah vs tweet.md

Tiga pendekatan digunakan saat ini untuk scraping X Articles setelah perubahan v11.90. Berikut perbandingannya pada tiga hal yang rusak.

Untuk kasus penggunaan "Saya ingin membaca Artikel ini secara offline sebagai Markdown" atau "Saya ingin membangun korpus postingan long-form untuk pelatihan LLM," threadgrab adalah jalur terpendek. Untuk kasus penggunaan "Saya sedang membangun produk analitik X real-time dan membutuhkan data engagement mentah," rute GraphQL tidak terhindarkan. tweet.md cocok untuk postingan dan thread pendek, tetapi kurang cocok untuk body Artikel baru.

Keterbatasan dan Apa yang Tidak Dilakukan threadgrab

Jujur tentang batasan alat lebih penting daripada menjual berlebihan. Daftar di bawah adalah apa yang tidak dilakukan threadgrab v1.18, per Juni 2026.

• Akun yang dilindungi. Jika Articles penulis berada di balik dinding login, threadgrab mengembalikan 403. Tidak ada cara untuk mengatasinya — kontennya tidak ada di web publik.
• Riwayat edit. Artikel yang telah diedit penulis lima kali dikembalikan dalam bentuknya saat ini. Versi sebelumnya tidak diekspos oleh X, sehingga threadgrab tidak dapat merekonstruksinya.
• Postingan komposit Quote-Article. Quote-Article adalah postingan biasa dengan kartu Artikel yang dilampirkan. threadgrab mengembalikan teks postingan dan metadata kartu, tetapi bukan body Artikel yang disematkan kecuali Anda melakukan panggilan kedua ke endpoint artikel dengan article_id kartu.
• Draf dan Artikel terjadwal. Draf dan postingan terjadwal tidak ada di web publik, sehingga tidak dapat di-scrape melalui metode apa pun, termasuk threadgrab.
• Jangkauan agregat dan angka per-audiens. Kotak hitam jangkauan yang kami bahas di postingan Freedom of Reach berlaku juga untuk threadgrab — snapshot engagement dalam respons adalah apa yang X tampilkan kepada publik, bukan angka jangkauan internal.

FAQ

Coba pada Artikel Publik

Cara tercepat untuk melihat tata letak v11.90 baru berputar melalui threadgrab adalah dengan memilih Artikel publik apa pun di x.com, salin URL, dan jalankan contoh curl artikel tunggal di atas. Anda akan mendapatkan respons JSON bersih dalam waktu 1,5 detik di edge AS atau UE, dengan body dalam Markdown yang dapat Anda tempel ke Obsidian, GitHub gist, atau konverter md2rich untuk pratinjau berdampingan tentang bagaimana format dirender.

Bacaan Terkait

• X ke Markdown 2026: 3 Cara Menyimpan Thread X — mencakup pendekatan tweet.md, threadgrab, dan browser-reader untuk postingan pendek dan thread.
• Pengarsipan Thread X 2026: 5 Alat Dibandingkan — pandangan lebih luas tentang Nitter, Thread Reader, archive.today, skrip curl, dan threadgrab untuk pengarsipan thread lengkap.
• X Articles Freedom of Reach 2026: Kotak Hitam Algoritma — apa yang diberitahu dan tidak diberitahu oleh angka jangkauan tentang siapa yang melihat Artikel.
• X Articles vs Bluesky vs LinkedIn Newsletter — perbandingan long-form 2026, dengan pohon keputusan untuk platform mana yang harus ditulis.