Kandungan

• Bagaimana rangkaian neural berfungsi
• Rangkaian saraf di dalam telefon pintar anda
• AI boleh membentuk masa depan fotografi

Sebagai tambahan kepada fotografi pengiraan, perkakasan kamera berkualiti tinggi dan pemproses isyarat imej, fotografi mudah alih canggih semakin dikuasakan oleh algoritma pembelajaran mesin - juga dikenali sebagai kecerdasan buatan (AI). Teknik fotografi ini menjanjikan untuk meningkatkan kualiti dalam menolak ke arah kualiti seperti DSLR sambil menawarkan cara baru yang kreatif untuk menembak dan mengedit gambar dan video.

Kunci pembelajaran mesin ialah penggunaan rangkaian saraf. Ini adalah sejenis algoritma yang sering disamakan dengan otak manusia. Perbandingan ini diambil dari keupayaan rangkaian neural untuk dilatih, melalui penggunaan data, untuk mengiktiraf corak, membolehkannya membuat klasifikasi yang sangat tepat untuk jenis data kompleks seperti audio dan imej.

Apabila ia berkaitan dengan fotografi, keupayaan untuk memerhatikan, belajar, menjana, dan mengelaskan mempunyai pelbagai aplikasi. Aplikasi ini boleh termasuk ciri-ciri seperti membina teknik fotografi pengiraan untuk meningkatkan algoritma pemprosesan pasca, bokeh perisian masa nyata dengan video 4K, atau bahkan menukar warna pakaian yang anda pakai.

Bagaimana rangkaian neural berfungsi

Rangkaian saraf adalah topik yang sangat rumit, jadi kami hanya akan membahas asas-asas di sini. Untuk membaca lebih lanjut, lihat panduan di sini dan di sini.

Rangkaian saraf terdiri daripada nod, yang merupakan penanda untuk mana pengiraan dilakukan. Setiap nod menggabungkan input dengan berat yang menguatkan atau menampung kepentingan simpul tertentu. Beberapa nod sering bekerja selari, mewujudkan lapisan nod yang melakukan tugas yang lebih besar. Ini boleh menjadi pengesanan ciri dalam imej, sebagai contoh. Nod dan lapisan berganda boleh disimpulkan bersama dan diteruskan ke nod dan lapisan lain, membentuk rangkaian yang lebih mendalam dengan keupayaan yang lebih berkuasa.

Output dari setiap nod dan lapisan adalah skala sebagai fungsi kebarangkalian. Dengan melihat banyak ciri dan atribut yang berlainan, rangkaian saraf dapat menilai input sebagai perlawanan kebarangkalian terhadap semua potensi output yang diharapkan. Ini adalah bagaimana algoritma pengesanan imej menentukan sama ada gambar kelihatan lebih seperti kucing atau oren, tetapi anda perlu memberitahu apa yang perlu dicari terlebih dahulu.

Rangkaian saraf tidak diprogramkan seperti algoritma komputer tradisional. Sebaliknya, mereka dilatih dalam dataset, seperti imej, fail bunyi, dan lain-lain. Berat setiap nod diselaraskan secara beransur-ansur dari semasa ke semasa melalui gelung maklum balas, berdasarkan sejauh mana rangkaian dilakukan dengan memadankan input ke output yang betul. Ini "belajar" secara beransur-ansur peraturan mengambil masa persediaan, masa, dan kuasa pengkomputeran yang besar, tetapi menghasilkan keputusan yang tepat secara fizikal.

Rangkaian saraf di dalam telefon pintar anda

Rangkaian saraf boleh dijalankan pada pelbagai komponen perkakasan, termasuk bahagian CPU dan GPU yang biasa di dalam pelbagai peranti pengkomputeran, termasuk telefon pintar anda. Walau bagaimanapun, sesetengah rangkaian saraf memerlukan lebih banyak kuasa pemprosesan daripada komponen perkakasan yang boleh memberi, dan perkakasan yang berdedikasi dapat menyediakan pemprosesan yang optimum yang diperlukan.

Di dalam Qualcomm® Snapdragon ™ 855 Platform Bergerak, misalnya, anda akan menemui Qualcomm® Hexagon ™ 690 Digital Signal Processor (DSP), dengan menawarkan unit pemprosesan vektor yang lebih baik dan Tensor Accelerator baru khusus untuk tugas pembelajaran mesin. Platform Bergerak Snapdragon lain juga mempunyai komponen DSP Hexagon, dengan keupayaan yang berbeza-beza. Dengan itu, jaring saraf tidak terhad kepada hanya berjalan di DSP pada Snapdragon dan platform mudah alih yang lain. Jenis pemproses yang digunakan bergantung kepada beban kerja.

Pembaikan pembelajaran mesin Qualcomm Snapdragon 855 berbanding generasi terdahulu

Qualcomm Technologies membuka keupayaan pembelajaran DSP dan mesin kepada pemaju pihak ketiga melalui SDK Pemprosesan Neural Qualcomm®. Ini membolehkan aplikasi menjalankan rangkaian saraf di mana-mana teras perkakasan di dalam Platform Bergerak Snapdragon. Sebagai contoh, telefon pintar Google Pixel memanfaatkan DSP Hexagon dan Core Visual sendiri untuk mempercepatkan ciri fotografi HDR + yang menarik. Qualcomm Technologies berfungsi dengan vendor perisian seperti Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho, dan banyak lagi, ciri-ciri sokongan dari bokeh video hingga penciptaan avatar menggunakan pembelajaran mesin yang berjalan di DSP.

AI boleh membentuk masa depan fotografi

Sekarang kita tahu bagaimana rangkaian saraf berfungsi, soalan penting ialah apa yang boleh dilakukan untuk kita dan gambar-gambar kita?

Rangkaian saraf digunakan untuk meningkatkan pelbagai algoritma fotografi biasa. Contohnya, bunyi bising boleh ditingkatkan dengan latihan untuk menawarkan pembersihan imej yang unggul disesuaikan dengan kamera tertentu atau jenis pukulan. Begitu juga, untuk cahaya rendah, jaring saraf boleh mengesan bahagian terang dan gelap imej, yang membolehkan penambahan cahaya dan warna di bahagian tertentu di tempat kejadian.

Lebih banyak kes penggunaan yang lebih maju semakin biasa dalam fotografi telefon pintar. Zum resolusi super menggunakan jaring saraf untuk menggabungkan beberapa imej ke dalam pukulan resolusi tinggi tunggal untuk zum digital yang unggul. Jaring neural juga boleh dilatih untuk mencuri pelbagai pendedahan foto dengan tepat untuk HDR dan gambar malam yang dipertingkatkan.

Fotografi AI boleh termasuk zum resolusi super, bokeh masa nyata, dan kualiti imej yang lebih baik.

Video juga boleh mendapat manfaat daripada penggunaan teknologi ini. Pengesanan objek masa nyata direka untuk membolehkan apl untuk memperkenalkan kesan bokeh perisian terus ke dalam video seperti yang anda rakam. Teknik yang serupa juga menyokong objek pertukaran masa nyata dan penyingkiran. Ini termasuk menukar latar belakang dalam video, menukar atau mengeluarkan warna, dan juga menggantikan item pakaian atau menambah imej digital langsung ke video anda.

Kekuatan rangkaian neural dan fotografi AI berkisar dari peningkatan kualiti untuk membantu menutup jurang DSLR kepada alat kreativiti yang kuat yang membantu menghasilkan kandungan unik dengan mudah. Sama ada, ia adalah teknologi yang hebat yang penting untuk penambahbaikan masa depan menuju fotografi mudah alih.

Seterusnya: Google Pixel 3 XL giveaway antarabangsa!

Kandungan yang ditaja oleh Qualcomm Technologies, Inc.

Qualcomm Snapdragon, Qualcomm Hexagon, Qualcomm Adreno, Qualcomm Spectra, Enjin Qualcomm AI dan Qualcomm Kryo adalah produk Qualcomm Technologies, Inc. dan / atau anak-anak syarikatnya.