Pelajari cara membuat Karyawan AI yang membaca foto nota supplier dari WhatsApp, mengambil data faktur dengan OCR multimodal, lalu merekapnya otomatis ke Google Sheets.
Admin keuangan sering tidak kekurangan data.
Yang kurang justru adalah waktu untuk memasukkan data tersebut satu per satu.
Supplier mengirim foto nota melalui WhatsApp.
Admin membuka gambar.
Kemudian membaca nama supplier, tanggal transaksi, nomor nota, daftar barang, subtotal, pajak, dan total pembayaran.
Setelah itu data diketik ulang ke Excel atau Google Sheets.
Besok datang lagi lima foto.
Lusa sepuluh.
Minggu depan bisa puluhan.
Pekerjaan seperti ini terlihat sederhana karena hanya membutuhkan copy-paste. Tetapi justru pekerjaan repetitif seperti inilah yang menarik untuk diberikan kepada Karyawan AI.
Dengan model AI multimodal, foto nota atau struk dapat diproses sebagai gambar, bukan hanya sebagai teks. AI kemudian dapat mengubah informasi visual tersebut menjadi data terstruktur yang siap dimasukkan ke Google Sheets.
Workflow sederhananya:
Supplier
↓
Foto Nota via WhatsApp
↓
WhatsApp Business API / Webhook
↓
Karyawan AI
↓
Multimodal OCR
↓
Ekstraksi Data
↓
Validasi
↓
Google Sheets
↓
Admin Review jika diperlukan
Hasil akhirnya bukan sekadar teks hasil OCR.
Tujuannya adalah satu foto nota menjadi satu baris pembukuan yang rapi.
Apa Itu Karyawan AI untuk Admin Faktur?
Karyawan AI di sini bukan berarti AI benar-benar menjadi pegawai yang mempunyai akses tanpa batas ke sistem perusahaan.
Istilah ini lebih tepat digunakan untuk menggambarkan AI agent yang diberi tugas, tools, aturan, dan batas kewenangan tertentu untuk menjalankan pekerjaan administratif secara berulang.
Dalam kasus ini, tugasnya cukup spesifik:
Menerima foto nota dari WhatsApp, membaca informasi penting, mengubahnya menjadi data terstruktur, memvalidasi hasil pembacaan, lalu memasukkannya ke Google Sheets.
Admin manusia tetap menjadi pengawas.
AI mengerjakan pekerjaan yang repetitif.
Manusia menangani pengecualian.
Ini penting karena OCR tidak selalu benar.
Foto nota bisa:
- buram;
- miring;
- terpotong;
- terkena pantulan cahaya;
- menggunakan font kecil;
- ditulis tangan;
- memiliki format berbeda antar supplier;
- atau mencantumkan informasi yang tidak lengkap.
Karena itu workflow yang baik tidak berhenti pada OCR.
Ia membutuhkan validation layer.
Kenapa Foto Nota dari WhatsApp Menarik untuk Diotomatisasi?
Dalam banyak bisnis kecil dan menengah, WhatsApp sudah menjadi jalur komunikasi dengan supplier.
Supplier tidak selalu mengirim PDF invoice dengan format standar.
Sering kali yang masuk justru:
“Pak ini notanya.”
Kemudian sebuah foto muncul di WhatsApp.
Masalahnya, foto tersebut tidak langsung menjadi data akuntansi.
Admin masih harus membaca dan mengetiknya.
WhatsApp Business Platform menyediakan API untuk mengirim dan menerima pesan bisnis, termasuk dukungan webhook sebagai salah satu komponen integrasi. Cloud API juga mendukung pesan dan media.
Artinya, secara arsitektur, WhatsApp dapat menjadi front door untuk Karyawan AI.
Supplier cukup mengirim foto.
Workflow di belakangnya yang bekerja.
Arsitektur Karyawan AI untuk Rekap Nota
Arsitektur sederhananya seperti ini:
SUPPLIER
│
│ Foto Nota
▼
┌───────────────────┐
│ WhatsApp Business │
│ Platform │
└─────────┬─────────┘
│
Webhook
│
▼
┌───────────────────┐
│ Integration │
│ Layer │
└─────────┬─────────┘
│
▼
┌───────────────────┐
│ Karyawan AI │
│ / AI Agent │
└─────────┬─────────┘
│
▼
┌───────────────────┐
│ Multimodal Model │
│ + OCR + Reason │
└─────────┬─────────┘
│
▼
┌───────────────────┐
│ Validation │
└─────────┬─────────┘
│
┌───────┴────────┐
▼ ▼
Confidence Confidence
Tinggi Rendah
│ │
▼ ▼
Google Sheets Admin Review
OpenClaw dapat digunakan sebagai orchestration layer karena mendukung media, automation, webhook, dan koneksi ke MCP server atau tools eksternal. Dokumentasi OpenClaw menjelaskan bahwa agent dapat diberi tools dari MCP server dan automation dapat menjalankan pekerjaan secara terjadwal maupun melalui webhook.
Data Apa yang Bisa Diambil dari Nota?
Jangan meminta AI untuk langsung “masukkan nota ke spreadsheet”.
Lebih baik tentukan schema terlebih dahulu.
Contohnya:
|
Kolom |
Contoh |
|
Tanggal |
17/11/2026 |
|
Supplier |
PT Sumber Makmur |
|
Nomor Nota |
INV-2026-0912 |
|
Kategori |
Bahan Baku |
|
Deskripsi |
Kardus Packaging |
|
Qty |
50 |
|
Harga Satuan |
Rp12.000 |
|
Subtotal |
Rp600.000 |
|
Pajak |
Rp66.000 |
|
Total |
Rp666.000 |
|
Metode Pembayaran |
Transfer |
|
Confidence |
0.96 |
|
Status |
Verified |
|
Source |
|
Dengan schema seperti ini, AI tidak sekadar menyalin teks.
Ia melakukan data extraction.
Step 1 — Supplier Mengirim Foto Nota
Contoh percakapan WhatsApp:
Supplier:
Pak, ini nota pembelian hari ini.
[foto nota]
Sistem menerima event dari WhatsApp Business Platform.
Webhook kemudian meneruskan informasi tersebut ke integration layer.
Yang penting: jangan memberikan seluruh webhook payload mentah kepada model jika tidak diperlukan.
Integration layer sebaiknya membersihkan data terlebih dahulu.
Misalnya:
{
“message_id”: “wamid.xxx”,
“sender”: “supplier-001”,
“media_type”: “image”,
“media_id”: “media-123”,
“received_at”: “2026-11-17T09:15:00+07:00”
}
AI hanya perlu mendapatkan informasi yang relevan.
Credential API dan secret tidak perlu masuk ke prompt.
Step 2 — Ambil File Gambar
Setelah menerima media_id, integration layer mengambil file gambar sesuai mekanisme API yang digunakan.
Di sinilah workflow mulai berbeda dengan chatbot biasa.
Chatbot hanya melihat pesan:
“Ini nota pembelian.”
Karyawan AI perlu mendapatkan gambar nota sebenarnya.
Setelah gambar tersedia, multimodal model dapat memproses informasi visual tersebut.
Step 3 — AI Membaca Nota dengan Multimodal Model
OCR tradisional biasanya berfokus pada mengenali karakter.
Model multimodal dapat digunakan untuk tugas yang lebih luas:
Gambar
↓
Baca teks
↓
Kenali struktur nota
↓
Identifikasi field
↓
Hubungkan label dengan nilai
↓
Normalisasi data
Misalnya foto:
PT SUMBER MAKMUR
Nota No: INV-2026-0912
Tanggal: 17/11/26
Kardus Packaging
50 x 12.000 600.000
Subtotal 600.000
PPN 66.000
TOTAL 666.000
AI tidak hanya menghasilkan:
PT SUMBER MAKMUR
Nota No INV-2026-0912
…
Tetapi dapat mengubahnya menjadi:
{
“supplier”: “PT Sumber Makmur”,
“invoice_number”: “INV-2026-0912”,
“date”: “2026-11-17”,
“items”: [
{
“description”: “Kardus Packaging”,
“quantity”: 50,
“unit_price”: 12000,
“subtotal”: 600000
}
],
“subtotal”: 600000,
“tax”: 66000,
“total”: 666000
}
Di sinilah multimodal AI menjadi menarik untuk pekerjaan administratif.
Step 4 — Jangan Langsung Menulis ke Google Sheets
Ini bagian yang sering dilupakan.
Setelah AI membaca nota, jangan langsung append data ke spreadsheet.
Buat tahap validasi.
Contohnya:
AI membaca:
Subtotal = Rp600.000
PPN = Rp66.000
Total = Rp666.000
Validation:
600.000 + 66.000 = 666.000
PASS
Tetapi kalau AI membaca:
Subtotal = Rp600.000
PPN = Rp66.000
Total = Rp866.000
maka:
600.000 + 66.000 ≠ 866.000
FAIL
Workflow seharusnya berhenti.
Bukan memasukkan data yang salah ke pembukuan.
Step 5 — Tambahkan Confidence Score
Model AI bisa diminta memberikan confidence score untuk setiap field penting.
Misalnya:
{
“supplier”: {
“value”: “PT Sumber Makmur”,
“confidence”: 0.98
},
“invoice_number”: {
“value”: “INV-2026-0912”,
“confidence”: 0.94
},
“total”: {
“value”: 666000,
“confidence”: 0.99
}
}
Kemudian workflow membuat aturan:
Confidence >= 0.95
↓
Auto process
Sedangkan:
Confidence < 0.95
↓
Human review
Angka 0.95 di sini hanya contoh threshold.
Setiap bisnis sebaiknya menentukan threshold berdasarkan hasil pengujian terhadap nota mereka sendiri.
Step 6 — Normalisasi Data
Masalah berikutnya adalah format.
Supplier pertama mungkin menulis:
17/11/26
Supplier kedua:
17-11-2026
Supplier ketiga:
17 November 2026
AI dapat menormalisasi semuanya menjadi:
2026-11-17
Hal yang sama dapat dilakukan untuk:
- format mata uang;
- nama supplier;
- kategori biaya;
- satuan barang;
- nomor invoice;
- metode pembayaran;
- penulisan pajak.
Tujuannya supaya Google Sheets tidak menjadi tempat penyimpanan data yang formatnya berantakan.
Step 7 — Masukkan ke Google Sheets
Setelah data lolos validasi, Karyawan AI dapat mengirim row baru ke Google Sheets.
Google Sheets API menyediakan method spreadsheets.values.append untuk menambahkan nilai ke baris berikutnya dari sebuah tabel. API ini menerima spreadsheet ID, range, dan valueInputOption.
Misalnya:
{
“values”: [
[
“2026-11-17”,
“PT Sumber Makmur”,
“INV-2026-0912”,
“Kardus Packaging”,
50,
12000,
600000,
66000,
666000,
“Verified”
]
]
}
Google Sheets kemudian menjadi:
|
Tanggal |
Supplier |
No. Nota |
Item |
Qty |
Harga |
Subtotal |
Pajak |
Total |
Status |
|
17/11/2026 |
PT Sumber Makmur |
INV-2026-0912 |
Kardus Packaging |
50 |
12.000 |
600.000 |
66.000 |
666.000 |
Verified |
Tidak ada lagi proses:
lihat foto → ketik → cek → copy → paste.
Bagaimana dengan Nota yang Berisi Banyak Barang?
Ini bagian penting.
Satu nota tidak selalu berarti satu baris.
Misalnya:
Nota #INV-001
Kardus 50 x 12.000
Lakban 20 x 18.000
Bubble Wrap 10 x 25.000
Ada dua pendekatan.
Model A — Satu Nota Satu Baris
Tanggal | Supplier | Nota | Total
Cocok untuk pencatatan invoice-level.
Model B — Satu Item Satu Baris
Tanggal | Supplier | Nota | Item | Qty | Harga | Subtotal
Cocok untuk analisis biaya dan inventory.
Untuk bisnis yang ingin menganalisis pembelian lebih dalam, Model B biasanya lebih berguna.
AI dapat menghasilkan array:
{
“invoice_number”: “INV-001”,
“items”: [
{
“name”: “Kardus”,
“qty”: 50,
“unit_price”: 12000
},
{
“name”: “Lakban”,
“qty”: 20,
“unit_price”: 18000
},
{
“name”: “Bubble Wrap”,
“qty”: 10,
“unit_price”: 25000
}
]
}
Kemudian setiap item menjadi row sendiri di Google Sheets.
OpenClaw Bisa Ditempatkan di Mana?
OpenClaw tidak harus menjadi seluruh sistem.
Justru lebih masuk akal menjadikannya sebagai agent/orchestration layer.
Contohnya:
↓
Webhook
↓
Integration Service
↓
OpenClaw
↓
Multimodal Model
↓
Validation
↓
Google Sheets
OpenClaw dapat terhubung dengan external tools melalui MCP. Dokumentasi resminya menjelaskan bahwa MCP memungkinkan agent meminjam tools dari program lain, sementara akses tool tetap dikendalikan oleh tool policy OpenClaw.
Jadi Google Sheets tidak harus dianggap sebagai “database AI”.
Ia hanyalah salah satu tool yang diberikan kepada Karyawan AI.
Alternatif: Google Sheets sebagai Output, Bukan Database Utama
Untuk bisnis kecil, Google Sheets sudah cukup.
Tetapi jika volume transaksi semakin besar, jangan memaksa semua data tetap berada di spreadsheet.
Arsitektur dapat berkembang menjadi:
↓
Karyawan AI
↓
Database
↓
Google Sheets
↓
Dashboard
Google Sheets menjadi tempat yang mudah dibaca manusia.
Database menjadi sumber data utama.
Karyawan AI bekerja di antara keduanya.
Human-in-the-Loop: Bagian yang Tidak Boleh Dihilangkan
Bayangkan supplier mengirim foto:
TOTAL
Rp 1.8?0.000
AI tidak yakin apakah angka tersebut:
- Rp1.800.000
- Rp1.850.000
- Rp1.890.000
Jangan dipaksa memilih.
AI seharusnya mengatakan:
⚠️ Perlu Review Admin
Supplier:
PT ABC
No. Nota:
INV-9281
Total:
Tidak terbaca dengan confidence tinggi.
Silakan periksa foto asli.
Ini jauh lebih aman daripada AI menebak.
AI yang baik bukan AI yang selalu menjawab.
AI yang baik juga tahu kapan harus mengatakan:
“Saya tidak yakin.”
Contoh Workflow Lengkap
Misalnya supplier mengirim:
Supplier:
Pagi Pak, ini nota pembelian.
[foto nota]
Karyawan AI menerima foto.
1. Deteksi
Media type = image
Document type = purchase invoice
2. OCR multimodal
Supplier = PT ABC
Invoice = INV-9281
Date = 17/11/2026
Total = 1.250.000
3. Validasi
Subtotal + Tax = Total
PASS
4. Confidence
Supplier 0.99
Invoice 0.98
Date 0.97
Total 0.96
5. Decision
All critical fields > threshold
→ AUTO PROCESS
6. Google Sheets
17/11/2026 | PT ABC | INV-9281 | Rp1.250.000 | Verified
7. WhatsApp response
AI dapat mengirim konfirmasi:
“Nota INV-9281 sudah direkap. Total Rp1.250.000. Status: Verified.”
Admin tidak perlu membuka spreadsheet setiap kali nota masuk.
Prompt Karyawan AI untuk Rekap Nota
Contoh system instruction:
Kamu adalah Karyawan AI untuk administrasi faktur.
Tugas:
Membaca foto nota atau invoice supplier dan mengubahnya menjadi data terstruktur.
Field yang harus diekstrak:
– tanggal
– nama supplier
– nomor nota/invoice
– daftar item
– quantity
– harga satuan
– subtotal
– pajak
– total
– metode pembayaran jika tersedia
Aturan:
1. Jangan mengarang data yang tidak terlihat.
2. Jika field tidak terlihat, isi null.
3. Jika teks tidak terbaca, tandai needs_review.
4. Jangan menebak nominal.
5. Validasi subtotal + pajak terhadap total jika memungkinkan.
6. Berikan confidence untuk field penting.
7. Jangan menulis ke Google Sheets jika validasi gagal.
8. Jika confidence field total atau nomor invoice rendah, minta human review.
9. Pertahankan nomor invoice persis seperti yang terlihat.
10. Kembalikan output dalam JSON sesuai schema yang diberikan.
Dengan prompt seperti ini, Karyawan AI memiliki batas kerja yang jelas.
Keamanan Data Nota
Nota supplier dapat mengandung informasi bisnis yang sensitif.
Misalnya:
- nama supplier;
- harga pembelian;
- nomor invoice;
- alamat;
- nomor telepon;
- rekening;
- informasi pajak;
- daftar produk.
Karena itu jangan memperlakukan workflow ini sebagai eksperimen chatbot biasa.
Credential WhatsApp dan Google sebaiknya disimpan sebagai secret, bukan dimasukkan ke prompt.
Untuk Google Sheets API, Google menyediakan beberapa OAuth scope. Google sendiri merekomendasikan penggunaan scope yang sesempit mungkin; drive.file, misalnya, membatasi akses aplikasi pada file Drive tertentu yang digunakan aplikasi.
Jika Karyawan AI hanya perlu menulis ke satu spreadsheet, jangan memberikan akses yang lebih luas daripada yang diperlukan.
Jangan Jadikan AI sebagai Akuntan Otomatis
Ada perbedaan besar antara:
“AI membantu memasukkan data invoice.”
dan:
“AI menentukan pencatatan akuntansi perusahaan.”
Workflow pertama relatif terukur.
Workflow kedua jauh lebih berisiko.
Untuk tahap awal, Karyawan AI sebaiknya fokus pada:
data entry + extraction + validation.
Bukan mengambil keputusan akuntansi yang membutuhkan konteks lebih luas.
Misalnya AI boleh membaca:
Supplier = PT ABC
Total = Rp1.250.000
Tetapi keputusan:
“Transaksi ini harus masuk akun biaya operasional X.”
sebaiknya menggunakan rule bisnis yang jelas atau tetap membutuhkan review manusia.
Berapa Banyak Waktu yang Bisa Dihemat?
Jangan menggunakan klaim seperti:
“AI menghemat 90% pekerjaan admin.”
tanpa melakukan pengukuran sendiri.
Lebih baik ukur baseline.
Misalnya:
50 nota / minggu
Manual:
3 menit / nota
Total:
150 menit / minggu
Kemudian setelah automation:
50 nota / minggu
AI:
30 detik processing / nota
Human review:
10 nota × 1 menit
Total human effort:
10 menit
Dari sini perusahaan dapat menghitung penghematan berdasarkan workflow mereka sendiri.
Inilah salah satu alasan mengapa implementasi Karyawan AI sebaiknya dimulai dari satu proses yang bisa diukur.
Tahapan Implementasi yang Lebih Aman
Jangan langsung membuat AI punya izin menulis ke spreadsheet produksi.
Gunakan tiga tahap.
Tahap 1 — Extraction Only
Foto
↓
AI
↓
JSON
Admin membandingkan hasil AI dengan nota asli.
Tujuannya mengukur akurasi.
Tahap 2 — Human Approval
Foto
↓
AI
↓
JSON
↓
Admin
↓
Google Sheets
AI boleh menyiapkan data.
Manusia yang memberikan persetujuan.
Tahap 3 — Auto Processing
Foto
↓
AI
↓
Validation
↓
Confidence
↓
Google Sheets
Hanya transaksi yang memenuhi rule tertentu yang boleh masuk otomatis.
Kasus lainnya tetap diarahkan ke admin.
Dari Rekap Nota Menjadi Karyawan AI Finance
Begitu workflow dasar sudah berjalan, kemampuannya bisa diperluas.
Karyawan AI dapat membantu:
Rekap pengeluaran
Berapa total pembelian minggu ini?
Cari supplier
Supplier mana yang paling banyak menerima pembayaran?
Analisis harga
Apakah harga kardus bulan ini naik dibanding bulan lalu?
Deteksi anomali
Ada nota dengan nominal tidak biasa?
Rekonsiliasi
Apakah total invoice yang masuk sesuai dengan data pembayaran?
Dengan begitu, foto nota yang awalnya hanya menjadi file di WhatsApp berubah menjadi data bisnis yang bisa dicari dan dianalisis.
Kesimpulan
Karyawan AI untuk admin faktur tidak harus dimulai dari sistem akuntansi yang kompleks.
Mulailah dari masalah yang sangat konkret:
Supplier mengirim foto nota melalui WhatsApp.
Dari sana workflow dapat dibuat:
↓
Webhook
↓
Foto Nota
↓
Multimodal AI
↓
OCR + Data Extraction
↓
Validation
↓
Confidence Check
↓
Google Sheets
↓
Human Review jika diperlukan
Google Sheets API memang menyediakan mekanisme resmi untuk menambahkan data ke baris spreadsheet, sehingga output AI dapat dibuat menjadi data tabular yang langsung bisa digunakan tim admin.
Sementara OpenClaw dapat berperan sebagai orchestration layer yang menghubungkan agent dengan tools dan workflow eksternal melalui automation, webhook, dan MCP.
Yang paling penting, jangan mendesain Karyawan AI sebagai mesin yang selalu percaya diri.
Desainlah sebagai sistem yang:
membaca → mengekstrak → memvalidasi → memutuskan → mencatat → meminta bantuan manusia ketika ragu.
Karena dalam pekerjaan administrasi, satu angka yang salah bisa lebih mahal daripada beberapa menit pekerjaan manual.
Disclosure
Contoh workflow dalam artikel ini merupakan arsitektur implementasi yang dapat disesuaikan dengan kebutuhan bisnis. Ketersediaan endpoint, permission, format webhook, batas API, model AI, serta integrasi WhatsApp dan Google Workspace dapat berubah. Untuk transaksi keuangan atau pembukuan resmi, hasil OCR dan ekstraksi AI sebaiknya tetap melalui validasi dan kontrol internal yang sesuai.
Referensi
- Meta for Developers — WhatsApp Business Platform / Cloud API
- Google for Developers — Google Sheets API
- Google for Developers — Google Sheets API Authorization & Scopes
- OpenClaw Documentation — Automations & Webhooks
- OpenClaw Documentation — MCP Servers










Tinggalkan Balasan