Doğal Dil İşleme Nedir?

Doğal Dil İşleme (Natural Language Processing)

Dil, insanlar arasında anlaşmayı sağlayan bir iletişim aracıdır. Sosyal yaşamın en büyük gereksinimlerinden bir tanesi dildir. Dünya’da halihazırda konuşulmakta olan 7000’in üzerinde dil olması bu kavramın ne kadar önemli olduğunu apaçık göstermektedir.

Son zamanlarda hayatımızın vazgeçilmez bir parçası olan bilgisayar dünyasında ise iki farklı dil vardır. Bunlar makine dilleri olan programlama dilleri ve doğal dillerdir. İnsanların kullandığı diller doğal dil olarak adlandırılır. Makine ile insan arasındaki iletişimin bağının arttığı bu günlerde, blog yazıları, sosyal medya mesajları ve içerikleri ile metin verileri artarak büyümeye devam etmekte, bu verilerden anlamlı ve istenilen bilgilerin bilgisayarın anlayabileceği biçimde çıkarılması için Doğal Dil İşleme tekniği kullanılmaktadır. Bu teknik, insan dilini bilgisayarın anlayabileceği bir formata dönüştürme işlemini yapmaktadır. Dilbilim ve yapay zekanın bir alt dalı olan Doğal Dil İşleme, genellikle Natural Language Processing yani NLP olarak bilinmektedir.

NLP’nin her geçen gün öneminin artmasının başlıca nedeni gelişen teknoloji ile yapay zeka çalışmalarının hızlanmasıdır.Her dilin kendine özgü dil bilgisi kuralları ve sözlüğü vardır. NLP ile çalışılırken, çalışılan dilin morfolojik yapısını bilmek oldukça önemlidir. Örneğin Türkçe, sözcük bazında kurallı ve sondan eklemeli bir dildir. NLP ile Türkçe üzerinde çalışılırken, Türkçe’nin morfolojik özelliklerine dikkat edilmelidir. Her dili bir aynı olarak değerlendirip işlem yapmak eksik veya yanlış sonuçlar almanıza neden olacaktır. Yani NLP her dil için farklı şekilde uygulanmalıdır.

Doğal Dil İşlemenin ne olduğundan genel olarak bahsettikten sonra uygulama alanlarına örnek olarak şunları ekleyebiliriz:

Dil Çeviri (Machine Translation)

Bir dilden başka bir dile NLP teknikleri kullanılarak çeviri yapılması işlemidir. Örnek olarak Google Translate, Yandex Çeviri gösterilebilir.

Ses Tanıma (Speech Recognition)

Yapay sinir ağları veya makine öğrenmesi metotlarından faydalanarak NLP ile ses sinyallerinin anlamlı hale getirilmesi işlemidir. Apple Siri, Google Asistan gibi uygulamalar örnek olarak verilebilir.

Yazım Denetimi (Spell Checking)

Herhangi bir dilde yazılan bir cümlenin NLP ile dil bilgisi ve kelime bilgisi denetiminin yapılması işlemidir.

Metin Özetleme (Text Summarization)

Büyük metin verilerinden özet bilgiler çıkarmak için kullanılır.

Bilgilerin Çıkarılması (Information Extraction)

Genellikle bir metin üzerinden, belirli kriterdeki bilgileri çıkarmak için kullanılır. Amaç büyük veriyi otomatik olarak işleyip, insan müdahalesini minimum seviyeye indirmektir.

Adlandırılmış Varlık Tanıma (Named Entity Recognation (NER))

Bilgi çıkarımının bir alt dalıdır. Makine çevirilerinden duygu analizine kadar birçok problemde kullanılmaktadır. Kişi, yer, zaman, tarih ve sayı tanımlamalarının yapılmasında kullanılabilir.

Soru Cevaplama (Question Answering)

Makinenin sorulan sorulardan anlamlar çıkarıp uygun cevaplar verebilmesidir.

Metin Sınıflandırma ve Kategorize Etme (Text Classification and Categorization)

Bir metin verisinde geçen cümlelerin veya kelimelerin önceden belirlenen etiketlere atanması işlemidir. Önceden etiketlenmiş, olumlu ve olumsuz kategorilerinden oluşturulan veri seti kullanılarak, Twitter’da atılan bir Tweet’in, hangi kategoriye ait olduğunun belirlenmesi işlemi örnek olarak gösterilebilir.

NLP Kütüphaneleri

NLP alanında çalışma yapmak için farklı kütüphaneler bulunmaktadır. Bu kütüphanelerin içerisinde ise önceden hazırlanan modüller ile birçok veri işleme yöntemi uygulanabilir. Bazı açık kaynak kodlu NLP kütüphaneleri ise şunlardır:

• Language Toolkit (NLTK)
• Apache OpenNLP
• Standford NLP

Yukarıda kısaca bahsettiğimiz çalışma alanları göz önüne alındığında, NLP’nin farkında olmasak bile hayatımızın her anında yanımızda olduğu kaçınılmaz bir gerçektir. Buna, pratikte kullanılan uygulamalar olarak “Öneri Sistemleri” ve “Bilgi Yönetim Sistemi” örnek olarak gösterilebilir.