KoranMandala.com -Tren besar berikutnya dalam AI telah tiba—chatbot AI yang mengendalikan PC Anda.
Hanya tiga minggu yang lalu, Anthropic memperkenalkan fitur di Claude yang disebut Computer Use, yang memungkinkannya mengontrol desktop dengan perintah berbasis teks.
Tak lama setelah itu, Microsoft mengungkapkan Omniparser, sebuah pratinjau penelitian untuk agen AI yang dapat membaca layar Anda—kemungkinan sebagai petunjuk tentang fitur mendatang untuk mengontrol desktop pengguna, kemungkinan melalui Copilot.
Mengapa NFT dan Bitcoin Mungkin Lebih Bodoh dari yang Anda Pikirkan
Sementara Apple dan Google masih diam tentang alat serupa, dapat dipastikan bahwa mereka sedang mengerjakan sesuatu di balik layar.
Hari ini, OpenAI merilis fitur baru yang disebut “Work with Apps” di aplikasi desktop ChatGPT untuk Mac. Fitur ini memungkinkan ChatGPT mengontrol alat pemrograman seperti Xcode, VS Code, dan bahkan aplikasi terminal.
Sebagai seorang pengembang dan pengguna setia asisten pemrograman AI, ini adalah langkah besar.
Fitur Baru ChatGPT “Work with Apps”
Mari kita jelaskan—fitur ini belum menjadi agen AI.
Namun, OpenAI menggambarkannya sebagai “blok bangunan kunci” untuk menciptakan sistem yang lebih otonom. Tantangan utama bagi agen AI saat ini adalah belajar untuk menginterpretasikan seluruh layar komputer, bukan hanya perintah berbasis teks atau output mereka sendiri.
Berikut adalah apa yang dapat dilakukan fitur baru ChatGPT:
- Mengakses dan membaca kode di aplikasi seperti Xcode atau VS Code.
- Menulis kode berdasarkan kode yang sudah ada dalam proyek Anda.
- Melakukan perubahan di aplikasi terminal seperti Terminal atau iTerm2.
- Melakukan debugging dan menulis unit test untuk proyek Anda.
Cara Menggunakan Fitur Baru
Tombol kontrol aplikasi desktop baru terletak di samping toggle pencarian internet, dan mengkliknya akan menampilkan daftar aplikasi yang kompatibel yang dapat Anda aktifkan/nonaktifkan.
Sebelum Anda dapat menggunakan fitur kontrol desktop baru ini, pastikan untuk memberikan izin kepada ChatGPT untuk mengontrol komputer Anda di pengaturan Aksesibilitas.
Setelah ChatGPT diaktifkan dalam pengaturan Aksesibilitas, Anda akan melihat bahwa Xcode sekarang diaktifkan di dasbor ChatGPT.
Sebagai contoh, saya meminta ChatGPT untuk membuat menu navigasi untuk produk saya, Flux Labs AI, yang merupakan alat untuk menghasilkan gambar produk dan potret berkualitas tinggi menggunakan model gambar terlatih.
Saya mencoba meminta ChatGPT untuk menulis kode yang akan menampilkan menu navigasi di bagian bawah layar.
Permintaan: “Bisakah Anda membuat menu navigasi di bagian bawah layar?”
- AI Tools
- Creations
- Discover
- Account
ChatGPT melihat kode dalam proyek Xcode saya yang terbuka dan menulis saran kode untuk saya.
Berikut adalah saran kode yang diberikan ChatGPT:
| import SwiftUI import SwiftDatastruct ContentView: View { @Environment(\.modelContext) private var modelContext @Query private var items: [Item] var body: some View { // Tab 2: Creations // Tab 3: Discover .tabItem { // Tab 4: Account private func addItem() { private func deleteItems(offsets: IndexSet) { #Preview { |
Setelah saya mendapatkan saran kode dari ChatGPT, saya harus menyalin kode tersebut dan menempelkannya ke dalam Xcode. Berikut adalah tampilan hasilnya:
Simulator iPhone 16 Swift ChatGPT tidak dapat langsung memodifikasi kode di Xcode. Anda perlu menyalin dan menempelkan semuanya secara manual, yang mungkin tidak ideal, tetapi tetap dapat menyelesaikan tugas.
Meskipun demikian, saya menyukai ikon dan tata letak yang dibuatnya untuk saya. Saya bahkan dapat mengklik setiap tab, dan itu berfungsi untuk berpindah antar halaman. Sangat keren!
Selanjutnya, saya meminta ChatGPT untuk membuat dasbor untuk halaman akun pengguna. Saya mengunggah tangkapan layar dari halaman contoh dan meminta ChatGPT untuk menirunya.
Permintaan: “Di halaman Akun, bisakah Anda membuat dasbor yang terlihat bagus dengan informasi serupa dengan gambar terlampir?”
ChatGPT menghasilkan kode dan bahkan memberikan panduan langkah demi langkah tentang di mana menempatkannya. Bagi seseorang yang tidak familiar dengan Swift, ini adalah penyelamat.
Dasbor yang dihasilkan tidak sempurna tetapi cukup baik. Dengan beberapa penyesuaian, ia bisa dengan mudah menjadi siap produksi.
Akhirnya, saya dapat menggabungkan ChatGPT dengan terminal dan memintanya untuk mengkomit perubahan kode dan mendorongnya ke repositori.
Saya bisa terus meminta ChatGPT untuk mengimplementasikan halaman lain dan bahkan meminta untuk mengimplementasikan backend. ChatGPT akan memberikan perintah git, dan Anda hanya perlu mengeksekusinya di terminal.
| git add . git commit -m “Implement sticky bottom navigation and account dashboard layout” git push origin main |
Bagaimana Cara Kerjanya?
Fitur “Work with Apps” OpenAI sangat bergantung pada API aksesibilitas macOS, yang telah mendukung pembaca layar VoiceOver Apple. Ini memungkinkan ChatGPT untuk membaca teks dari aplikasi dan memprosesnya.
Saat ini, pembaca layar hanya dapat bekerja dengan teks. Ia tidak dapat menangani elemen lain di layar seperti gambar, tata letak objek, atau video.
Berikut adalah cara ChatGPT memproses kode:
- Untuk beberapa aplikasi, 200 baris kode terakhir dikirim ke ChatGPT dengan setiap permintaan.
- Untuk aplikasi lain, ChatGPT menggunakan semua kode di jendela aktif Anda.
- Anda dapat menyoroti bagian tertentu untuk membimbing ChatGPT, tetapi ia akan tetap menyertakan teks di sekitarnya untuk konteks.
Perlu dicatat bahwa proses ini menggunakan banyak token input.
Generasi Berikutnya dari Agen AI
Menurut laporan Bloomberg beberapa hari yang lalu, kecepatan inovasi di lanskap AI sedang melambat.
Tiga perusahaan teknologi AI terbesar—OpenAI, Google, dan Anthropic—sekarang melihat pengembalian yang semakin menurun dari upaya mahal mereka untuk membangun sistem kecerdasan buatan yang lebih canggih.
Dengan pengenalan alat AI yang dapat mengakses komputer kita, membuka banyak kemungkinan penggunaan. Saya bahkan tidak dapat membayangkan skenario terburuk dan terbaik yang dapat dibuat alat ini di PC pengguna.
Beberapa efek yang mungkin termasuk:
- Pengembangan perangkat lunak dapat beralih fokus dari keterampilan ke ide.
- Produktivitas dapat melonjak saat tugas berulang diotomatisasi.
- Otomatisasi mungkin mengurangi pekerjaan di beberapa industri.
- Harapkan banjir perangkat lunak yang dihasilkan AI di internet.
- Masalah keamanan dapat menjadi isu yang lebih besar dari sebelumnya.
Menurut penelitian Harvard Business Review, generative AI sudah memberikan dampak besar di pasar tenaga kerja.
Gambaran Akhir
Secara jujur, ChatGPT yang mengontrol aplikasi Mac adalah sesuatu yang tidak saya duga akan terjadi secepat ini.
Sangat menarik untuk memikirkan seberapa jauh ini dapat berkembang di masa depan. Bayangkan ChatGPT membuat file, menulis kode, menjalankan tes, dan bahkan mendorong perubahan ke GitHub.
Apakah semua orang akan menyukainya? Tentu tidak. ***
