Modeldan oldin o‘ylagan ma’lumotlarim

AI tavsiya tizimi, modeldan oldin ko‘rib chiqqan narsam edi ma’lumotlar -

-Banjang Note loyiha ga xos ma’lumotlar talablari va filtrlash mezonlari Men ko‘rib chiqdim -

1. Nega avval modelni tanlamadim

AI tavsiya tizimini tayyorlashda odamlar ko‘pincha birinchi bo‘lib kollaborativ filtrlash yoki chuqur o‘rganish modellarini o‘ylashadi. Men ham qanday tavsiya usullaridan foydalanishimiz mumkinligi bilan qiziqdim, ammo Banjang Note loyihasida birinchi bo‘lib ko‘zdan kechirgan narsam algoritm emas, ma’lumotlar edi.

O‘sha paytda tavsiyalar uchun kerak bo‘ladigan foydalanuvchi xatti-harakatlari tarixi yoki o‘quv ma’lumotlarini hali to‘plamagan edik. Kasb, tajriba va maosh kabi xizmat yig‘ishi mumkin bo‘lgan maydonlarni ko‘rib chiqishimiz mumkin edi, ammo foydalanuvchilar aslida nimani tanlagani yoki buning ortidan qanday natijalar kelib chiqqanini ko‘rsatuvchi yozuvlar yo‘q edi. Oxir-oqibat, modelni o‘qitish yoki uning samaradorligini taqqoslash uchun zarur dalillar yetishmasdi.

Bunday vaziyatda avval modelni tanlash keyinchalik u talab qiladigan ma’lumotlarni yig‘ishga majbur bo‘lishimizni anglatishi mumkin edi. Aksincha, ma’lumotlarni shunchaki farqiga bormay saqlasak, haqiqiy o‘qitish uchun zarur bo‘lgan tafovutlar yoki kontekstni e’tibordan chetda qoldirishimiz mumkin edi. Shu sababli yondashuvim tartibini o‘zgartirdim. Avval hozirda qanday ma’lumotlar mavjudligini o‘rgandim, so‘ng turli tavsiya usullarining ma’lumotlarga bo‘lgan talablarini taqqosladim va xizmatni ishga tushirish boshidayoq nimalarni qayd etishimiz kerakligini ko‘rib chiqdim.

“Qaysi model hozir eng yaxshi?” degan savolga qaraganda ikkinchi darajali edi “qanday ma’lumotlarni biz qayd etishimiz uchun keyinroq taqqoslay olishimiz mumkin bo‘lgan modellarni ? qaysi biri birinchi o‘rinda turdi.

Ushbu maqolada tavsiya modeli qanday joriy etilgani yoki uning samaradorligi haqida natijalar keltirilmaydi. Buning o‘rniga, ma’lumotlar to‘plashga tayyorgarlik ko‘rayotib o‘rgangan tavsiya usullarim, majburiy mezonlarni qo‘llash bo‘yicha qabul qilgan qarorlarim va ma’lumotlar tuzilmasini ko‘rib chiqish jarayonida aniqlagan texnik muammolarim bilan bo‘lishaman.

2. Tavsiya modellarini ma’lumotlar nuqtayi nazaridan taqqoslash

Turli tavsiya usullari har xil turdagi ma’lumotlarni talab qiladi. Profil atributlarini taqqoslash, foydalanuvchilar o‘rtasidagi xatti-harakatlar namunalarini solishtirish hamda haqiqiy so‘rovlar yoki qabul qilish natijalari asosida o‘qitish — bularning barchasi ma’lumotlar qayerdan olinishiga qarab farqlanadi. Shu bois algoritmlarning umumiy afzalliklari va kamchiliklariga e’tibor qaratish o‘rniga, Banjang Note loyihasida ular ishlashi uchun qanday ma’lumotlar mavjud bo‘lishi kerakligini ko‘rib chiqdim.

Atributlarga asoslangan tavsiya: Ma’lumotga ega bo‘lish har doim ham afzallikka ega bo‘lishni anglatmaydi

Kasb yoki ish tajribasi kabi tuzilgan qiymatlarni taqqoslash oson. Ammo faqat shu ma’lumotlarga asoslanib, «kimnidir kim afzal ko‘rishi»ni tushuntirish qiyin. Masalan, ikki kishi ham minimal tajriba talabiga javob bersa, tajribasi ko‘proq bo‘lgan kishi tez-tez tanlanadimi-yo‘qmi, buni faqat ma’lumotlar orqali aniqlash mumkin.

Shu sababli, asosiy profildan tashqari, lavozimlar, ish uslublari va hamkorlik muhiti borasidagi afzalliklar kabi qo‘shimcha omillarni ham ko‘rib chiqdik. Bu ma’lumotni bir nechta variantli so‘rovnomalar yordamida to‘plash imkoniyatini ham ko‘rib chiqdik. Biroq so‘rovnoma javoblari foydalanuvchilarning o‘zlari bildirgan afzalliklarni aks ettiradi va haqiqiy xatti-harakatlar haqidagi real ma’lumotlardan farqlanishi kerak. Buning sababi — odamlar afzal ko‘rishini aytgan shartlar haqiqatan ham ularning tanloviga olib keladimi-yo‘qmi, buni keyinroq tekshirishimiz kerak.

Kollaborativ filtrlash: Foydalanuvchilar sonining ko‘pligi o‘z-o‘zidan yetarli emas

Kollaborativ filtrlash biz ayniqsa o‘rganishni istagan yondashuvlardan biri edi. Agar bir nechta koordinator bir xil brigadirlarga qiziqish bildirsa yoki ular bo‘yicha so‘rov yuborsa, faqat profillardan ko‘rinmaydigan o‘xshash afzalliklardan foydalanish imkoniyati bo‘lishi mumkin. Buning uchun «qaysi koordinator qaysi brigadir bilan o‘zaro aloqada bo‘lgani»ni bog‘lovchi tarix kerak.

Foydalanuvchilar sonidan avval ko‘rib chiqqan narsamiz o‘zaro aloqalar matritsasining zichligi bo‘ldi. Koordinatorlarni satrlar, brigadirlarni esa ustunlar deb olsak, dastlab kataklarning aksariyati bo‘sh bo‘lishi ehtimol. Ayniqsa, yangi brigadirlar va yangi koordinatorlarda o‘zaro aloqa tarixi bo‘lmaydi. Ularning bir xil odamlar bilan o‘zaro aloqada bo‘lgani haqidagi qaydlar kam bo‘lsa, o‘xshash afzalliklarni aniqlash ham qiyinlashadi.

Shuningdek, qayd etilgan so‘rovni qiziqish belgisi sifatida talqin qilish mumkin, ammo so‘rov qayd etilmaganining o‘zi qiziqish bo‘lmaganini anglatmaydi. Koordinator nomzodni umuman ko‘rmagan bo‘lishi mumkin. Shuni hisobga olib, kollaborativ filtrlashda qo‘llanadigan xulq-atvor ma’lumotlarini qanday talqin qilishni o‘ylagan holda, qaysi ma’lumotlarni to‘plash kerakligini ko‘rib chiqdik. Uni amalda qo‘llash yoki qo‘llamaslik haqida hali qaror qilmadik.

Nazorat ostidagi o‘rganish: bitta «to‘g‘ri javob»ga jamlab bo‘lmaydigan xatti-harakatlar

Shuningdek, logistik regressiya va XGBoost kabi nazorat ostidagi o‘rganishga asoslangan reyting modellarini ham ko‘rib chiqdik. Bu holatda, ish e’loni va brigadirning xususiyatlarini Feature’larga aylantirib, keyingi xatti-harakatni Label sifatida ishlatishimiz mumkin. Bashorat qilish kerak bo‘lgan xatti-harakat qaysi ekani savol bo‘ldi.

Koordinator so‘rov yuborishi ehtimolini bashorat qilish va so‘rovni olgan brigadir uni qabul qilishi ehtimolini bashorat qilish — ikki xil masala. So‘rov olish ehtimoli yuqori bo‘lgan odam uni qabul qilish ehtimoli ham yuqori degani emas. Agar faqat yakuniy moslik natijasini saqlasak, ushbu ikki bosqichdan qaysi biri ta’sir ko‘rsatganini ham aniqlash qiyin bo‘ladi.

Shuning uchun, nazorat ostidagi o‘rganishning bitta modelini oldindan tanlash o‘rniga, so‘rovlar, javoblar va yakuniy natijalarni alohida qayd etish keyinroq mavjud ma’lumotlarning taqsimoti va hajmiga qarab bashorat maqsadlarini taqqoslash imkonini beradi, degan xulosaga keldik. Shu sababli, ehtimoliy modellarni o‘rganish bilan birga, avvalo ma’lumotlarni to‘plashni ko‘rib chiqdik.

3. Majburiy talablarni tavsiya ballari orqali hisobga olmaslikka qaror qildik

Turli modellarni ko‘rib chiqish jarayonida bir jihat ancha oydinlashdi: kasb, minimal ish tajribasi va maosh kabi bajarilishi shart bo‘lgan talablarni reyting modeliga qoldirmasdan, oldindan filtrlash orqali hisobga olish kerak.

Masalan, kasbi boshqacha bo‘lgan yoki minimal tajriba talabiga javob bermaydigan nomzodning boshqa atributlari qanchalik yaxshi bo‘lmasin, uni tavsiya qilib bo‘lmaydi. Agar bu talablarni vaznli ballga qo‘shsak, majburiy talablarga javob bermaydigan nomzodlar boshqa omillardan yuqori ball olgani uchun reytingda yuqori o‘ringa chiqishi mumkin. Bu tavsiya sifati haqida gapirishdan oldin xizmat cheklovlariga rioya qilinmasligidir.

Shu bois, vazifalarni ajratdik: avval barcha nomzodlar orasida majburiy talablarni tekshirib, tavsiya qilishga yaroqli nomzodlar to‘plamini hosil qilamiz; keyin qolgan nomzodlarni tartiblash uchun Ranking’dan foydalanamiz. Filtering «nomzodni tavsiya qilish mumkinmi» degan savolga javob beradi, Ranking esa «yaroqli nomzodlardan qaysilari avval ko‘rsatiladi» degan savolga javob beradi.

Bu qaror muayyan model tanlanganini anglatmaydi. Hamkorlikdagi filtrlash, xususiyatlarga asoslangan yondashuv yoki nazorat ostida o‘rganish orqali reyting tuzish usulidan foydalanilishidan qat’i nazar, majburiy shartlar filtrlari bir xil tarzda qo‘llanishi mumkin. Aksincha, filtrlardan o‘tish ushbu nomzodlarning tavsiya reytingini avtomatik ravishda belgilamaydi.

Agar kerakli ma’lumotlar yetishmasa va shartlar bajarilgan-bajarilmaganini aniqlashning iloji bo‘lmasa, nomzod filtrlardan o‘tdi deb shunchaki hisoblanmasligi kerak. Bunday istisnolarni qanday tekshirish va ko‘rib chiqish — haqiqiy filtrni joriy etish jarayonida alohida belgilanishi lozim bo‘lgan validatsiya mezoni. Dizaynni ko‘rib chiqish jarayonida modelni ko‘rib chiqishdan avval sohaga oid majburiy shartlarni belgilash zarurligi ayon bo‘ldi.

4. Model haqida o‘ylash “nimalarni qayd etish kerak” degan savolni o‘zgartirdi

Model nomzodlarini ko‘rib chiqib, filtrlashning rolini aniqlaganimizdan so‘ng, biz shunchaki ma’lumotlar ro‘yxatini kengaytirishga emas, balki har bir ma’lumot qanday savollarga javob bera olishiga e’tibor qaratdik. Ushbu bandlar hozirda ma’lumotlarni amalda to‘plashga tayyorgarlik ko‘rish doirasida ko‘rib chiqilmoqda; ularning barchasi hali ishlab chiqarish DB tizimiga kiritilmagan yoki to‘planmagan.

Profillar va so‘rovnomalar: Bu ma’lumotlardan xususiyat sifatida foydalanish mumkinmi?

Kasb, ish tajribasi va maosh kabi asosiy ma’lumotlar filtrlash uchun kerak. Kelajakda ularni, masalan, talab qilinadigan va haqiqiy ish tajribasi o‘rtasidagi farq yoki taklif etilayotgan va istalgan maosh o‘rtasidagi farq ko‘rinishida o‘zgartirib, model kiritma ma’lumotlari sifatida ham ishlatish mumkin. Biroq kiritma sifatida foydalanish mumkinligi uning haqiqiy bashorat kuchiga ega ekanini anglatmaydi.

Afzalliklar haqidagi so‘rovnomalarni ham shu nuqtayi nazardan ko‘rib chiqdik. Har bir foydalanuvchidan uzun so‘rovnomani to‘ldirishni talab qilish o‘rniga, avvalo, u asosiy profil ma’lumotlari bilan izohlash qiyin bo‘lgan farqlarni aniqlay oladimi-yo‘qmi, shuni baholashimiz kerak. Hatto bir ish joyida ham odamlarning vazifalari va ish uslublari turlicha bo‘lishi mumkin, shu sababli ish uslubi yoki hamkorlikka oid afzalliklar mazmunli xususiyatlar hisoblanadimi-yo‘qmi, baholashimiz kerak. Ular haqiqatan ham foydali ma’lumot ekanini faqat ma’lumotlar to‘plangandan keyingina tasdiqlash mumkin.

Taassurotlar, tanlovlar va javoblar: ularni bir xil xatti-harakatdek qayd etmang

Xatti-harakatlarga oid ma’lumotlarda “qayd yo‘qligi” nimani anglatishi ayniqsa muhim edi. Nomzod afzal ko‘rilmagani uchun u haqida so‘rov yuborilmagan bo‘lishi mumkin, ammo u tavsiyalar ro‘yxatida umuman ko‘rsatilmagan bo‘lishi ham mumkin. Shuningdek, server ro‘yxatni yaratganini va nomzod haqiqatan ham ekranda ko‘rsatilganini farqlashimiz kerak.

Shu sababli, faqat yakuniy so‘rov yuborilgan-yuborilmaganini saqlash o‘rniga, yaratilgan tavsiyalar, ko‘rsatilgan nomzodlar, yuborilgan so‘rovlar va ularga berilgan javoblar haqidagi qaydlarni o‘zaro bog‘lashni ko‘rib chiqdik. Ko‘rsatishdagi o‘rinni ham saqlab qolish kerak, chunki nomzodning tanlanish ehtimoli uning ro‘yxatning yuqori yoki quyi qismida ko‘rsatilishiga qarab farq qilishi mumkin.

Masalan, faqat oldingi so‘rovlar tarixiga asoslanib, vaziyatni “so‘ralmagani uchun afzal ko‘rilmagan” deb belgilash o‘quv ma’lumotlarida xatolarga olib kelishi mumkin. Rahbardan aslida hech qachon so‘ralmagan vaziyatlarni “rad etilgan” deb hisoblash ham xuddi shunday oqibatga olib keladi. Keyinroq modelni o‘qitishda salbiy misollarni belgilash uchun, hech bo‘lmaganda, kuzatilgan xatti-harakat bilan kuzatilmagan holatni farqlay olishimiz kerak.

Tavsiya berilgan paytdagi holat: keyinroq o‘zgargan qiymatlardan o‘tmishni izohlash uchun foydalanib bo‘lmaydi

Foydalanuvchi profillari va ishga qabul qilish talablari vaqt o‘tishi bilan o‘zgarishi mumkin. Bir necha hafta oldingi tavsiyani faqat hozir saqlanayotgan ish tajribasi yoki kutilayotgan maoshga qarab tahlil qilsak, natijani o‘sha paytda amalda bo‘lgan qiymatlardan farq qiluvchi qiymatlar bilan izohlashimiz mumkin. Shu sababli, ko‘rib chiqishimizda tavsiya berilgan paytda amal qilgan talablar va siyosatlarni qayta tiklash mumkinmi-yo‘qligini ham ko‘rib chiqdik.

Har bir qiymatni takroran saqlash yoki o‘zgarishlar tarixini versiyalash orqali boshqarish haqiqiy saqlash tuzilmasiga bog‘liq. Ammo qaysi yondashuvni tanlamaylik, tamoyil o‘zgarmaydi: tavsiya berilgan paytdagi xususiyatlarni keyinroq yaratilgan yorliqlar bilan to‘g‘ri bog‘lay olishimiz kerak. Model tuzilmasini ko‘rib chiqishdan oldin ma’lumotlarning ma’nosini aniqlashtirishimiz kerak bo‘lgan jihat shu edi.

5. Nimalarga qaror qildik va nimalar hali hal etilmagan

Hozirgacha qabul qilgan eng aniq qarorimiz — majburiy talablarni dastlabki filtrlash bosqichiga ajratish. Ish turi, tajriba yoki maosh bo‘yicha talablarga javob bermaydigan nomzodlar saralashda qatnasha olmaydi va tavsiyalar tartibini belgilash algoritmi o‘zgarsa ham, bu qoida o‘z kuchida qolishi kerak.

Boshqa tomondan, filtrdan o‘tgan nomzodlarni qanday tartiblashni hali hal qilganimiz yo‘q. Atributlarga asoslangan tavsiya mos kelishi mumkin yoki o‘zaro aloqalar yetarlicha to‘plangach, kollaborativ filtrlashni ko‘rib chiqishimiz mumkin. Haqiqiy so‘rov va qabul qilish holatlari yig‘ilib, yorliqlarning ma’nosi aniq bo‘lgach, nazoratli o‘qitishga asoslangan saralashni ham solishtirib ko‘rishimiz mumkin. Haqiqiy ma’lumotlarni avval tekshirmasdan, qaysi usul mos kelishini aniqlash qiyin.

Hali modelni o‘qitish natijalari yoki samaradorlik yaxshilangani haqida ma’lumot beradigan bosqichda emasmiz. Ma’lumot to‘plashga tayyorgarlik ko‘rar ekanmiz, har bir tavsiya yondashuvi uchun zarur ma’lumotlar va har bir hodisaning ma’nогийг ko‘rib chiqyapmiz. Ma’lumot to‘plash boshlangach, yozuvlarni shunchaki sanash o‘rniga, avval foydalanuvchilar darajasidagi o‘zaro aloqalar qanchalik ustma-ust kelishini, so‘rov va javob ma’lumotlari qanday taqsimlanganini, shuningdek, yetishmayotgan ma’lumotlar yoki ko‘rsatishdagi og‘ish mavjudligini tekshirishimiz kerak.

Ushbu tahlil asosida to‘plashimiz kerak bo‘lgan ma’lumotlarni o‘zgartirishimiz, hatto dastlab ko‘zlagan modelimiz mos emas degan xulosaga kelishimiz ham mumkin. Menimcha, aynan ushbu dastlabki bosqichda bunday ehtimolga ochiq bo‘lish juda muhim edi. Hali bilmagan narsalarimizni o‘zboshimchalik bilan berilgan ballar yoki model nomlari bilan to‘ldirish o‘rniga, keyinchalik qaror qabul qilish uchun zarur dalillarni saqlab qoladigan tuzilma kerak edi.

6. Xulosa

Bu ishni boshlaganda tavsiya algoritmini tanlash eng katta qiyinchilik bo‘ladi, deb o‘ylash oson. Ammo amalda biz duch kelgan birinchi savol ma’lumotlar haqida bo‘ldi. Hozirda qaysi ma’lumotlar mavjud emasligini va ularsiz qaysi modellarni baholab bo‘lmasligini o‘rganishdan boshladik.

Jarayon davomida kollaborativ filtrlash va nazoratli o‘qitishga asoslangan tavsiyaning imkoniyatlarini ko‘rib chiqdik hamda majburiy talablarni saralashdan ajratishga qaror qildik. Shuningdek, kelajakda foydalanishimiz mumkin bo‘lgan ma’lumotlar faqat so‘rov yoki moslik natijalaridan iborat bo‘lmasligi, balki tavsiya ko‘rsatilganidan boshlab javob berilguniga qadar ma’nosi turlicha bo‘lgan hodisalarni bir-biriga bog‘laydigan yozuvlardan tashkil topishi kerakligini tasdiqladik.

Hozircha haqiqiy tavsiya modelining samaradorligini ko‘rsatuvchi natijalarimiz yo‘q. Shunga qaramay, loyihalash bosqichidayoq ma’lumotlarni qanday qayd etishimiz kelajakda qaysi modellarni solishtira olishimiz va qaysi savollarni baholashimizni belgilashini hisobga oldik.

Ma’lumotlar ...siz tavsiya tizimi avval - texnik tanlov, nima model foydalanish ammo nima kuzatish va qayd etish hal qilish edi.

Yeon