Masalah yang Diselesaikan

Claude dapat membaca halaman web, menjalankan script, dan menelusuri repositori. Yang tidak dapat dilakukan Claude secara bawaan adalah menonton video.

Ketika Anda menempelkan tautan YouTube ke Claude, yang terjadi adalah salah satu dari dua hal. Claude menebak isinya dari judul, atau Claude menarik transkrip teks saja. Keduanya melewatkan bagian yang justru penting: grafik di layar, potongan kode, slide presentasi, perubahan antarmuka, dan segala hal yang ditunjukkan tetapi tidak diucapkan.

Skill /watch dari repositori open source bradautomates/claude-video (lisensi MIT) menutup celah tersebut.

Cara Kerjanya

Prinsipnya sederhana. Video dipecah menjadi dua bentuk yang memang sudah dikuasai Claude, yaitu gambar dan teks.

Tahap	Yang terjadi	Tool
1	Video diunduh, caption dicek lebih dulu	`yt-dlp`
2	Frame gambar diekstrak	`ffmpeg`
3	Transkrip bertimestamp disusun	Caption bawaan, atau Whisper sebagai cadangan
4	Frame dan transkrip diserahkan ke Claude	Tool `Read` bawaan Claude

Frame disimpan sebagai JPEG dengan lebar 512 piksel secara default, lalu dibaca Claude satu per satu sebagai gambar. Setiap frame diberi penanda waktu, sehingga Claude dapat menyelaraskan apa yang terlihat di layar dengan apa yang terdengar di audio.

Pemilihan frame bukan interval tetap

Skill ini tidak mengambil tangkapan layar setiap beberapa detik secara buta. Ada dua mekanisme yang bekerja:

Deteksi pergantian scene. Frame diambil pada titik gambar berubah, bukan pada interval seragam.
Pembuangan frame kembar. Setiap frame diperkecil menjadi thumbnail 16x16 abu-abu, lalu dibandingkan dengan frame terakhir yang disimpan. Bila selisih rata-rata kecerahannya berada di ambang batas, frame dianggap kembar dan dibuang.

Efeknya terasa pada rekaman layar. Satu slide yang diam selama 90 detik akan menghasilkan belasan frame identik, dan setiap frame ditagih sebagai gambar terpisah. Mekanisme pembuangan ini memastikan jatah frame Anda terpakai untuk konten yang berbeda.

Syarat Teknis: Baca Bagian Ini Sebelum Instalasi