EMÜ430- Veri Analitiği, 2023-2024 Güz Dönemi

Türkçe oku Read in English

Hacettepe Endüstri Mühendisliği Bölümü olarak müfredatımızı güncel gelişmelerle uyumlu olacak şekilde (programlama, veri bilimi, yapay zeka vb.) zenginleştirmeye çalışıyoruz. Bu doğrultuda bölümümüzün müfredatına kısa bir süre önce EMÜ430 - Veri Analitiği dersini ekledik. Dersin detaylı içeriğine şuradan (İngilizce) ulaşabilirsiniz: EMU430- Veri Analitiği. Geçtiğimiz güz döneminde de, EMÜ430’u sıcağı sıcağına EMU Hacettepe öğrencilerine açma şansım oldu. Açıkçası bu ders benim için özel, çünkü dersi sıfırdan kendim tasarladım ve ders içeriği araştırmalarımda ve pratikte kullandığım araçlarla örtüşüyor. Bu nedenle de dersi elimden geldiğince “özel” hale getirerek öğrencilere unutamayacakları bir deneyim yaşatmaya çalıştım. Öğrencilerim de beklediğimden çok daha iyi şekilde bana ayak uydurdular ve dönem boyunca harika işler çıkardık. Ders sonunda topladığım geri bildirim formları da bu gözlemimi teyit etti. Bu seneki tecrübemizi yazılı hale getirerek kalıcı yapmak ve yaptığımız işleri ilgilenenlerle paylaşabilmek için de bu yazıyı yazıyorum. Benzer dersleri alan öğrenciler ve bezer dersler veren öğretim üyeleri için de faydalı olacağını umuyorum.

EMÜ430 2023-2024 Güz Dönemine İlişkin Genel Bilgiler

EMÜ430, bölümümüzün teknik seçmeli dersler listesinde yer alan bir ders. Bu nedenle dersi 3 ve 4. sınıf öğrencileri aldı. Bölüm müfredatımız İngilizce olduğu için dersi İngilizce yaptık. 73 öğrenci dersimi aldı. Bölüm kontenjanımızın 72 olduğunu düşünürsek seçmeli bir ders için iyi bir sayıydı. Ders 15 haftadan oluştu. Bunun birer haftasını ara sınav, final sınavı ve proje sunumları için ayırdık. Böylelikle 12 hafta ders yaptık. Bu 12 haftalık ders içeriğini EMU430- Veri Analitiği sayfasında paylaşıyorum. Bu 12 haftanın 4 tanesinde ver bilimi alanında uzmanları misafir ettik. Derslerimizi, sayının yüksek olması nedeniyle lab değil, sınıf ortamında yaptık. Her hafta ilgili kodları canlı uygulamalarla öğrencilere aktardım. Ödevler, grup projeleri ve DataCamp alıştırmaları ile bol pratik yapmaya çalıştık. Öğrencilerin dönem boyu bitmeyen bir iş yükü oldu ama bu işte yetkinlik kazanabilmeleri için bu gerekliydi. Bir iki serzeniş dışında genel olarak iş yükünden şikayetçi olan olmadı. Gülü seven dikenine katlandı :)

Dönem boyunca şunları amaçladık:

• Veri analitiğinin temellerini tanımlamak
• Veri analitiği araç ve tekniklerini uygulama pratiği kazandırmaktır
• Farklı formatlardaki ham verileri toplayabilmek ve yeniden şekillendirebilmek
• Gelişmiş görselleştirmeler ile verilerde anlamlı sonuçlar çıkarabilmek
• Veri analitiği projelerini organize edebilmek
• Tekrarlanabilir raporlar oluşturmak için üretkenlik araçlarını kullanabilmek

Bu amaçlar doğrultusunda da haftalık ders planımızda şu konulara yer verdik:

• Veri analitiğine giriş (tanımlayıcı, tahmin edici ve reçete verici analitik yöntemler)
• Veri analitiği için programlamanın temelleri (veri tipleri, vektörler ve vektör aritmetiği, dizinleme, koşullu ifadeler, döngüler ve iterasyon, fonksiyonlar)
• Veri analitiği projeleri için üretkenlik araçları (git, GitHub, tekrarlanabilir raporlar hazırlama)
• Veri görselleştirme (çizim türleri, grafik bileşenleri, katmanlar, özelleştirme, ölçekler, etiketler, renkler, gruplama, sıralama, yüzey oluşturma, dönüşümler, veri görselleştirme ilkeleri)
• Veriyi içe aktarma (elektronik tabloları içe aktarma, webden veri toplama)
• Veriyi yeniden şekillendirme ve düzenleme (filtreleme, silme, ekleme, join işleri vb.)
• Dizgi işleme (bölme, çıkarma, ayıklama, değiştirme, regex)
• Metin analizi

Bu konuların haftalık dağılımını şuradan görebilirsiniz: EMU430 - Data Analytics, 2023-2024 Güz Dönemi Ders İzlencesi (Syllabus)

Hangi programlama dilini kullandık?

Dersi R programlama ile yaptık. R kullanmak için kendimce çeşitli nedenlerim var. Birincisi, programlama tecrübesi olmayanların kod yazmaya daha hızlı adapte olmasını sağladığını düşünüyorum. Özellikle de Bilgisayar Bilimleri (Comptuer Science) altyapısı olmayan öğrenciler için daha anlaşılır bir dil. Bunun nedeni de yaratıcılarının Bilgisayar Bilimleri değil İstatistik alt yapılı insanlar olması. Örneğin, bir vektörün ilk elemanına [1] ile ulaşmayı sindirmek [0] ile ulaşmayı sindirmekten daha kolay. Benzer şekilde bir data frame’in 3’ten 5’e kadar olan sütunlarını [3:5] ile seçmek [2:5] ile seçmeye göre daha anlaşılır. İkincisi, R ile kurulum (setup) ve kod yazmaya geçiş süresi daha kısa. Bence tam bir prototype dili. Ben kendi işlerimde de önce R’da bir prototype yapıp çalıştığından emin olduktan sonra eğer çalışmaya devam edeceksem ve yaptığım işi projelendireceksem Python’a taşıyorum. Üçüncüsü, Quarto raporlama aracının, daha doğrusu kod tabanlı tekrarlanabilir raporlar yazmanın, dersin önemli bir parçası olması. Quarto, Python ile de çalışabiliyor. Yine de R community ürünü olduğunu vurgulayalım. Dördüncüsü, Python ile eninden sonunda bir yerlerde tanışmak zorunda olacak öğrencileri R’a da maruz bırakmak. Böylelikle bildikleri veri bilimi dillerini çeşitlendirmek. Sonuncusu da ilk göz ağrım olması. Kendi işlerimde artık %70 oranda Python kullanıyor olsam da R’dan aldığım hazzı Python’da bir türlü alamıyorum.

Referanslarım

Bu dönemki ders içeriğini oluştururken aşağıdaki mükemmel referanslardan yararlandım. Slaytlarımı daha çok Dr. Rafael Irizarry çok beğendiğim kitabından faydalanarak hazırladım.

• Irizarry, Rafael A. Introduction to Data Science
• Irizarry, Rafael A. Advanced Data Science
• Charles Russel Severance. Python for Everybody
• Peng, R. D., & Matsui, E. (2016). The art of data science. A Guide for Anyone Who Works with Data. Skybrude Consulting, LLC, ISBN-978-1365061462
• Zamora Saiz, A., Quesada González, C., Hurtado Gil, L., & Mondéjar Ruiz, D. (2020). An Introduction to Data Analysis in R. Springer, Cham, Switzerland, ISBN- 978-3-030-48996-0

GitHub Classroom kullanma stratejimde Dr. Berk Orbay‘ın BDA 503 - Essentials of Data Analytics course at MEF University dersinde kullandığı yaklaşımı benimsedim. Ödev ve proje rehberlerimi hazırlarken de yine Berk hocanın içeriklerinden faydalandım.

Dersi farklı kılan araçlar nelerdi?

Git, Github, Github Classroom ve Quarto

Git ve GitHub dersin işleyişinde önemli bir yere sahip oldu. Dönem boyu ödev ve projelerimizi GitHub Classroom üzerinde yönettik. Bunu biraz daha açayım. Dersin ilk ödeviyle birlikte, tüm öğrenciler GitHub üzerinde barındıracak şekilde kendi web sayfalarını hazırladılar. Bunu aşağıda anlatacağım GitHub Classroom ve bir sonraki bölümde anlatacağım Quarto tekrarlanabilir rapor üretkenlik aracıyla çok kolay bir şekilde organize edebildik. Öğrenciler, dönem içerisindeki ödevlerini ve projelerini, kişisel ve proje web sayfaları üzerinden yayınlayarak bana ve ilgilenenlere sundular. Web sayfaları Quarto tabanlı olduğu için de metin ve kodları birbirine entegre şekilde oldu. Böylelikle hem kodlarını kontrol etmek hem de çıktılarını görmek benim açımdan kolay ve verimli oldu.

GitHub Classroom, GitHub’ın yine öğretim üyelerine sunduğu güzel bir imkan. Burada sınıf ödevlerini ayarlamak ve yönetmek kolaylaşıyor ve GitHub ile sorunsuz bir şekilde entegre oluyor. Temel olarak, GitHub Classroom, bize sınıfı yöneteceğimiz ortak bir kullanıcı olan EMU Hacettepe Analytics kullanıcısını sağlıyor. Burada, verilen her ödev için öğrenciler repository açıyor. Ben de her öğrenci için bir kişisel bir de takım ödevi açtım. Böylelikle tüm öğrenciler kişisel web sayfaları için birer repo açtılar. Benzer şekilde her bir proje takımının da bir reposu oldu.

Quarto tek bir dokümanda kod, veri ve metni birlikte yazmayı sağlayan çok yönlü bir belgeleme aracı. Hem R hem de Python ile çalışabiliyor. Quarto ve GitHub oldukça uyumlu çalışıyor. Öğrenciler, kod tabanlı Quarto web sitelerini yerel bilgisayarlarında düzenledikten sonra, bunları GitHub repolarına push ediyor. GitHub’da da repository pages ayarlarını /docs branch’ından okuyacak şekilde ayarlayınca GitHub, Quarto web sayfalarını host ediyor. Bu yöntemle öğrencileri takip etmek benim için verimli ve kolay oldu. Benzer bir yapı proje sayfalarında var. Burada da bireysel ödevler değil proje çalışmalarını yapıyorlar. Proje çalışmamız 3 aşamadan oluşuyordu. Her aşamada sayfalarını biraz daha olgunlaştırdılar.

Bu yapı, Dr. Berk Orbay tarafından MEF’te BDA 503 - Essentials of Data Analytics course at MEF University dersinde bir süredir kullanılıyor. Berk hocaya dönem başında danıştığımda bu şekilde kullanışlı olduğunu söylemişti. Ben de benzer şekilde iyi bir tecrübe yaşadım.

Davetli Konuşmalar

Bu dönem 4 veri bilimi uzmanini dersimize konuk ettik. Oldukça verimli geçti. Misafirlerimizin bilgilerini aşağıda veriyorum.

• Cem Vardar (Ph.D.), Data Scientist, Former data scientist at Intel (2002-2010), Revionics (2010-2015) and Carvana (2015-2021), Founder of Decision Science Lab decisionsciencelab.com
• Mustafa Baydoğan (Ph.D.), Data Scientist, Associate Professor of IE Bogazici, Founder of Algopoy, www.mustafabaydogan.com/
• Baykal Hafızoğlu (Ph.D.), Data Scientist, Platform Management Director, FICO, Atlanta, USA
• Sami Serkan Özarık (Ph.D.), Data Scientist, Operations Research Scientist, Amazon, Luxembourg

İlk üç konuşmayı uzaktan yaptık. Bu sayaede onları kaydedebildim ve YouTube kanalıma yükledim. Bu işlere ilgili olanlara mutlaka izlemelerini tavsiye ederim. Konuşmalar Türkçe.

DataCamp

Dersimizde Datacamp Classroom kullandık. DataCamp platformu, Datacamp Classroom adıyla akademisyenler ve üniversite öğrencilerine 6 aylık ücretsiz üyelik imkanı sağlıyor. Platforma başvuru yapan öğretim üyesine, kısa süren bir başvuru ve doğrulama süreci sonrasında, altı aylık bir süre için ücretsiz grup aboneliği veriliyor. Böylelikle dersleriniz için sınıf oluşturup DataCamp’in genel olarak ücretli tüm özelliklerine erişebiliyorsunuz. Sınıfınızdaki öğrencileri e-mail adresleriyle platforma davet edebiliyorsunuz. Gruba katılan öğrenciler de DataCamp’teki veri biliminde uzman eğitmenler tarafından oluşturulan derslere ve interaktif kodlama egzersizlerine 6 aylığına ücretsiz erişim sağlıyor. Sınıfınızı oluşturduktan sonra, öğrencilere açacağınız kurslar ve ödevleri siz seçebiliyorsunuz. Bunlar öğrencilere ödev olarak atanıyorlar. Öğrencilerin erişimi bunlarla sınırlı değil, onlar genel olarak dersle ilgili veya değil, tüm kaynaklara erişebiliyorlar. Görevler, öğrencilerin belirli bir XP miktarı kazanmalarını sağlıyor. Böylelikle kimin ne kadar çalıştığını görebiliyorsunuz.

Dönem boyunca yaklaşık 10 ödev açtım. Ödevleri yapmak zorunlu değildi. Yapanlara ise, ödev tamamlama sayılarına göre, dönem sonu notlarına eklenecek bonus puanlar verdim. DataCamp kullanımımız ile ilgili tecrübelerimiz de şöyle:

• DataCamp ödevlerini ders izlencemizde de görebileceğiniz üzere bonus olarak yaptık.
• Her hafta ders başında DataCamp liderlik tablosunu açarak öğrencilerin sıralamasına baktık ve hem son 30 gün hem de dönem geneli liderlik durumunu takip ettik. Ben bu anlarda çok eğlendim, öğrencilerin de sevdiğini düşünüyorum.
• Açtığım ödevleri tamamlayan öğrenci sayısı ortalama 35 civarıydı. Yani öğrencilerin %50’si buradan faydalandı.
• Ödevleri yapmanın hiç bir zorunluluğu olmadığı halde dönem sonu geribildirim formlarında DataCamp ödev sayısının çokluğundan ve bazı ödevlerin zorluğundan şikayet edenlerin sayısını görünce gülsem mi ağlasam mı bilemedim :)
• Dönemi Mert Bekir Kaplan lider bitirdi. Dönem sonunda kendisini alkışladık ve hediyesini verdik (fotoğraftakiler Mert ve Ben).

Slack

Bir süredir EMU Hacettepe olarak öğrencilerimiz ve mezunlarımızla iletişim için Slack kullanmaya başladık. Bu dönem, kendi derslerime de bölüm Slack serverımızda kanallar tanımladım ve sınıf içi iletişimi Slack üzerinden yürüttüm. Sabit ofis saatleri yapmak yerine Slack üzerinden her an erişilir olmayı amaçladım. Ayrıca, öğrencilerin akranlarının problemlerinden haberdar olması ve bu problemlerin çözümlerine destek olmalarını hedefledim. Dersi alan 73 öğrencinin 51 tanesi Slack kanalına dahil oldu. Dönem sonunda topladığım geri bildirim formlarından gördüğüm kadarıyla bu yaklaşım öğrenciler için oldukça faydalı oldu. Bu strateji moodle gibi öğrenme platformlarında forum aracılığıyla da kurulabilir ama Slack WhatsApp’tan alışkın olduğumuz bir iletişim platformu türünde olduğu için kullanması daha pratik oluyor. Slack kullanmanın getirilerini şu şekilde özetleyebilirim:

• Öğrenciler sorularını ortaya sordu. Bu soruları bazen ben cevapladım, bazen de akranları cevapladı. Böylelikle aynı sorularla gelen öğrenci sayısı azaldı. Aynı şeylere tekrar tekrar cevap vermeye gerek kalmadı.
• Öğrenciler birbirlerinin problemlerinden haberdar oldular.
• Öğrenciler fark etmedikleri problemleri görmüş oldular.
• Öğrenciler bana, ben de öğrencilere çok hızlı erişebildim.
• Email kutusundaki karman çorman ortamda gelen soruları takip etme mücadelesine gerek kalmadı. Tüm yazışmalar ve dosyalar tek bir yerde sürekli erişilebilir haldeydi.
• Fiziksel olarak ofis saatleri düzenleme ihtiyacı ortadan kalktı.
• Fiziksel ofis saatinde soru sormaya gelme imkanı olmayan veya buna üşenen öğrencileri problemlerini çözmeye teşvik etmiş oldu. Böylelikle dersten kopan öğrenci sayısı azaldı.

Ödevler ve Dönem Projeleri

Ders boyunca çeşitli üretkenlik araçları kullanarak dersi interaktif, paylaşımlı ve güncel veri analitiği trendlerine uyumlu şekilde yürütmeye çalıştık. Yukarıda GitHub bölümünde anlattığım yaklaşımla ödev ve projeleri için tüm öğrencilere kişisel web sayfalarını yaptırdım. Bu birinci ödevimizin bir parçasıydı. Öğrenciler ödevlerini bu web sayfaları üzerinden yayınladılar. Öğrencilerin yaptığı ödevler,kodlarıyla birlikte, EMU Hacettepe Analytics adresinde herkese açık. Doğal olarak öğrencilerin birbirine de açık. Böylelikle akran öğrenmesini teşvik etmek temel amaçlardan biri. Zaten üniversite dediğimiz yerin en farklı noktası akran öğrenmesi. Bu noktada öğrencilerin birbirlerinin ödevlerini hazır alıp kullanması gibi bir endişe doğabilir. Bu konuda öğrencilerime güvenmeyi seçtim. Bu mesleğe başlarken de temel prensiplerimden biri öğrencilerime güvenmekti. Bir iki istisna dışında suistimal eden de olmadı. Zaten suistimal etmenin anlamı yok, ders seçmeli, bu işleri yaparak öğrenmekten kaçacak birileri varsa, bu dersi almayarak bu zahmetten kurtulabilirler.

Öğrenciler hem bireysel hem de proje ekibi düzeyinde harika bir iş çıkardılar. GitHub Classroom alanımız EMU Hacettepe Analytics, 2023-2024 güz dönemine ait bireysel öğrenci ve proje sayfalarını içeriyor.

Bireysel Sayfalar

73 öğrenciden bazı öğrenciler web sitelerini hem tasarım hem de içerik açısından kişiselleştirme konusunda harika bir iş çıkardılar. Bunlardan üç tanesini aşağıya örnek olarak koyuyorum. Dönem boyunca web sayfasına gösterdiği özenle ön plana çıkan Aykut Şimşek’e dönem sonunda kitap hediye ettim (fotoğrafta Aykut ve ben).

• Aykut Şimşek - www.aykutsimsek.net (Aykut daha da ileri giderek web sayfası için bir alan adı aldı.)
• Mert Kaplan’ın Analitik Laboratuvarı
• Sena Nur Enşici’nin Analitik Laboratuvarı

Projeler

Dönem projelerinde öğrenciler beklemediğim kadar iyi iş çıkardı. Bir kaç grup fire verdik ama onun dışındakiler gerçek anlamda iyi işler yaptılar. Bu projelerin sayfaları ve çalıştıkları problemler aşağıda. İlk dört benim favorilerimdi ama çoğu keşfetmeye değer.

• Team Safe İstanbul Bu proje, İstanbul Büyükşehir Belediyesi’nden alınan üç veri setini analiz ederek depremlere karşı yüksek risk taşıyan ilçeleri belirlemeyi amaçlamaktadır. Bina sayıları, inşaat yılları, kat sayıları ve nüfus verilerini kullanarak ekip, depreme hazırlık için mahalleleri önceliklendirecek bir risk haritası oluşturuyor.

• synergy Kültürel sektöre odaklanan bu proje, Türkiye’deki şehirlerdeki kütüphane ve müzelerin istatistiklerini inceliyor. Ziyaretçi sayıları, kayıtlı kullanıcılar ve kitap sayımlarını analiz ederek, ekip kültürel kurumların kullanımını değerlendirmeyi ve geliştirilmesi gereken alanları belirlemeyi hedefliyor.

• CTRL-S Bu proje, mobil iletişim teknolojilerinin rekabetçi manzarasını ve küresel mobil tedarikçilerin pazar paylarını araştırıyor, ülkesel dinamiklerin pazar pozisyonlarını nasıl etkilediğine odaklanıyor.

• Data Ciphers Türkiye Sağlık Anketi aracılığıyla, bu proje sağlık göstergeleri, hastalık prevalansı, alkol kullanımı ve vücut kitle indekslerini analiz ederek ulusal sağlık eğilimlerine ışık tutmayı ve uluslararası sağlık karşılaştırmalarına katkıda bulunmayı amaçlıyor.

• data_vizards 2021 Türkiye iç göç verilerini analiz eden bu proje, göç eğilimlerini, demografik faktörleri ve ekonomik göstergeleri inceleyerek bölgesel göç modellerini ve bunların sonuçlarını anlamayı amaçlıyor.

• EMUTrend Explorers Bu proje, Ankara üniversitelerinde Endüstri Mühendisliği bölümlerine olan öğrenci tercihlerini, YÖK ATLAS veri setini kullanarak talep ve yerleştirme eğilimlerine odaklanarak inceliyor.

• icaRdi Bu projenin, takım performans metrikleri arasındaki ilişkiyi inceliyor ve takım derecelendirmelerini önemli ölçüde etkileyen metrikleri belirlemeyi amaçlıyor.

• semicolon Farklı yaş grupları ve cinsiyetler arasında intihar önleme stratejileri geliştirmeye odaklanan bu proje, intihar oranlarını azaltmaya yönelik etkili yaklaşımları belirlemeyi amaçlıyor.

• 4k1e_rda 2011 ile 2020 yılları arasındaki suç verilerini, suçluların cinsiyeti ve eğitim durumuna odaklanarak inceleyen bu çalışma, Türkiye İstatistik Kurumu’ndan alınan verileri kullanarak suç eğilimlerini analiz eder.

• mission prediction İstanbul’da olası bir 7.5 büyüklüğündeki depremin altyapı ve nüfus üzerindeki potansiyel etkilerini analiz eden bu çalışma, yerel otoriteleri ve acil durum müdahale ekiplerini şehrin direncini ve hazırlığını artırmada yönlendirmeyi amaçlar.

• red_flag Türkiye ve ABD’den Tüketici Fiyat Endeksi (TÜFE) verilerini analiz ederek ve karşılaştırarak, enflasyon eğilimlerini ve bu eğilimleri etkileyen ekonomik ve sosyolojik faktörleri anlamayı hedefler.

• Altı Üstü Data Hava kirliliği ile ormanlık alanlar arasındaki ilişkiyi inceleyen bu çalışma, PM10 seviyeleri ve kilometrekare başına düşen orman alanı verilerini kullanarak ormanlık alanların hava kalitesi üzerindeki etkisini analiz eder ve anlamaya çalışır.

• data_criminals Eğitim seviyeleri ile suç oranları arasındaki korelasyonu anlamayı hedefleyen doğrudan bir proje.

• Germen Obasi 2003 ile 2022 yılları arasında TUIK verilerini kullanarak eğitim ile mutluluk arasındaki ilişkiyi inceleyen bu çalışma, eğitim durumunun mutluluk seviyeleri ile korelasyonunu araştırır ve bu faktörlerin potansiyel bağımsızlığını göstermeyi amaçlar.

• Quant Flare Bu çalışma, Türkiye’nin nüfus artış hızını ve yabancı bebek sayısını TÜİK verilerine dayanarak analiz eder, demografik değişiklikleri ve bu değişikliklerin Türkiye’nin geleceği üzerindeki etkilerini anlamayı hedefler.

Fotoğraflar

2023-2024 guz donemi fotolar