شلوغ‌بازار معیارهای علم‌سنجی

فریبا فرهادیان: از وقتی علم شروع شده، دانشمندان به ارزیابی همکارانشان پرداخته‌اند؛ اما اولین کسی که توانست رتبه‌بندی سیستماتیکی را برای دانشمندان براساس عملکرد آن‌ها جا بیاندازد، روانشناسی آمریکایی با نام جیمز مک‌کین کتل بود. وی در ویرایش دوم از کتابی که در سال 1906 / 1285 با نام «مردان علم آمریکا: کتاب راهنمای بیوگرافی» نوشته بود؛ به این موضوع اشاره کرد که رتبه‌بندی عملکرد دانشمندان در طول زمان می‌تواند به پیشرفت تحقیق کمک کند. وی همچنین اشاره کرده بود که حالا زمان آن فرا رسیده که برای تعیین شرایطی که به پیشرفت یا عقب‌ماندگی علم منجر می‌شود، از روش‌های علمی استفاده گردد.

طی این صد سال، منطق ارزیابی سیستماتیک دانشمندان خیلی دستخوش تغییر نشد، اما تکنیک‌های ارزیابی با شدت زیادی رشد کرده‌اند. کتل در زمان خود از دانشمندان خواسته بود که خود قاضی باشند و به همکارانشان رتبه‌ای را بدهند که سزاوارش هستند؛ اما امروزه شاخص‌های علمی و استانداردهایی وجود دارند که به جای انسان برای تعیین کیفیت تفکر یک دانشمند و تاثیر آن بر علم تصمیم‌گیری می‌کنند. در دهه گذشته نیز مقیاس‌ها و معیارهای سنجش و ارزیابی دانشمندان شتاب بیشتری به خود گرفت و این اتفاق را باید مرهون بانک‌های اطلاعاتی در دسترس و آنلاینی مثل شبکه علم تامسون‌رویترز و یا اسکوپس السن‌ویر و اسکولار گوگل دانست.

جوآن بالن، دانشمند انفورماتیک از دانشگاه ایندیانا معتقد است این روزها معیارهای ارزیابی در حال انفجار و فوران هستند، به طوری که شاید حتی شمارش تمامی آن‌ها کار ممکنی نباشد؛ زیرا تعداد بی‌شماری الگوریتم ابداع شده که بسیاری از آن‌ها برای دانشمندان هم ناشناخته است و برخی آن‌ها را به اشتباه برای ارزیابی افراد به کار می‌برند، در حالی که شاید هرکدام مخصوص یک زمینه تحقیقاتی بخصوص باشد.

برهمین اساس، نیچر اقدام به دسته‌بندی معیارهای جدید و قدیم زده و به قدرت و ضعف آن‌ها نیز پرداخته است. نیچر معتقد است در حال حاضر دانشمندان فهمیده‌اند که باید از سرعتشان بکاهند و با یکدیگر مشورت کنند و بفهمند هریک از این معیارهای سنجش واقعا به چه دردی می‌خورند.

باید گفت که دوران سنجش‌های کمّی و طبقه‌بندی‌های کامپیوتری به دهه 1950 / 1330 برمی‌گردد. در این دهه بود که یک زبان‌شناس با نام یوجین گارفیلد، فهرست‌نویسی ادبیات علمی را با استفاده از کارت‌های پانچ آغاز کرد. شرکتی که وی در سال 1955 / 1334 در فیلادلفیا تاسیس کرده بود، در سال 1960 / 1339 به موسسه اطلاعات علمی یا همان آی.اس.آی معروف تغییر نام داد و در همان سال شروع به انتشار شاخص ارجاعات (استنادات) علمی کرد. کار انجام شده توسط این موسسه در واقع، تلاشی سیستماتیک در زمینه ردیابی ارجاعات بود. (درحال حاضر این موسسه متعلق به موسسه انتشارات تامسون‌رویترز است.)

گارفیلد و همکارانش در سال 1965 / 1344 دیتابیس آی.اس.آی را منتشر کردند و نشان دادند که برندگان جایزه نوبل 10 برابر تعداد متوسط مقالات منتشر شده دارای مقاله هستند و تعداد ارجاعات (استنادات) آن‌ها نیز 30 تا 50 برابر میزان متوسط ارجاعات دیگران است. این کار باعث شد که به مدت چند دهه میزان ارجاعات مقالات دانشمندان به عنوان یک شاخص مهم از میزان تاثیر علمی آن‌ها در نظر گرفته شود.

شاخص سنجش گارفیلد یعنی "فاکتور تاثیر" که در سال 1963 / 1342 تهیه شده بود، نتوانست در ارزیابی عملکرد یک فرد استفاده زیادی داشته باشد. به گفته آنتونی ون رآن، مدیر مرکز علمی مطالعات علم و فناوری در دانشگاه لیدن هلند، اگر یک موضوع باشد که کتاب‌سنجان روی آن هم عقیده باشند، این است که نباید از فاکتور تاثیر که فقط برای میزان محبوبیت مجلات کاربرد دارد، در ارزیابی عملکرد تحقیق یک مقاله یا یک شخص استفاده شود.

تاثیر بزرگ
یک مقیاس بهتر برای ارزیابی یک شخص از روی میزان ارجاعاتش، استفاده از شاخص اچ است. این شاخص که در سال 2005 / 1384 توسط فیزیکدانی به نام جورج هیرش از دانشگاه کالیفرنیا در سن‌دیگو معرفی شد، می‌تواند به سرعت خود را با دیتابیس‌های آنلاین و عمده تطبیق دهد. بنا به تعریف، اگر کسی 50 مقاله نوشته باشد و هرکدام از آن‌ها حداقل 50 مرتبه ارجاع داشته باشند، شاخص اچ برابر 50 است. این شاخص می‌تواند به صورت هم‌زمان، میزان سودمندی و ارجاع یک مقاله را نشان دهد. اما این شاخص کاستی‌هایی هم دارد، مثلا این‌که با گذشت زمان از نوشته شدن یک مقاله، این شاخص هم بالاتر می‌رود و هیچ وقت با طول عمر کاهش نمی‌یابد.

برای این که این اتفاق نیفتد، از سال 2005 به این طرف بیش از 12 شاخص اچ مختلف پیشنهاد شد؛ اما به گفته آنه ویل هارزینگ، استاد مدیریت بین‌الملل دانشگاه ملبورن استرالیا، حتی نخبه‌های ساخت این معیارها هم هنوز نتوانسته‌اند بگویند کدام یک بهتر از دیگری است و به همین دلیل است که هنوز هم اکثر دانشمندان به شاخص اچ اصلی، با وجود تمام محدودیت‌هایش، چسبیده‌اند.

سومین دسته که روز به روز بر محبوبیت آن افزوده می‌شود، انفورماتیک تخمینی است که به ارجاعات متعلق به مقالات پرارجاع، ارزش بیشتری می‌دهند. اساس این کار بسیار شبیه به اساس کار رتبه‌بندی صفحات در جستجوی گوگل است. تامسون‌رویترز و الزه‌ویر هم پیشنهاد داده‌اند که از این روش برای مجلات استفاده شود.

برخلاف فاکتور تاثیر که اساسا برای مجلات کاربرد دارد، برخی محققان از مفهوم رتبه‌بندی صفحات برای افراد هم استفاده می‌کنند. فیلیپو رادیچی، محقق شبکه‌های پیچیده در موسسه تبادل علوم واقع در شهر تورین ایتالیا و همکارانش از روش ارجاعات وزین استفاده کردند و با به‌وجود آوردن شبکه ای از لینک‌ها بین بیش از 400هزار مقاله منتشر شده در سال‌های 1893 / 1372 تا 2006 / 1385در مجلات فیزیکال‌ریویو، نویسندگان فیزیک را به صورت کمّی رتبه‌بندی کردند.

باوجود محبوبیت این روش‌ها نیز باید گفت سیستم‌های ارزیابی بر اساس ارجاعات دارای نقاط ضعفی هم هستند، بخصوص وقتی قرار باشد خود محقق ارزیابی شود،. یکی از این موارد ضعف این است که مقالات علمی معمولا دارای چندین نویسنده و شاید تعداد بیشتری نویسنده همکار هستند و این باعث می‌شود اختصاص دادن اعتبار به هرکدام از آن‌ها بسیار دشوار و پیچیده باشد. به اعتقاد هنگ مد، مشاور ارشد علوم در الزه‌ویر، این‌جاست که محدودیت‌های سیستم کتاب‌سنجی مشخص می‌شود.

نقطه ضعف دیگر این سیستم این است که نمره نهایی به آن بانک اطلاعاتی بستگی دارد که از آن استفاده شده است. مثلا دیتابیس تامسون‌رویترز دارای 11500 مجله، الزه‌ویر 16500 مجله و خلاصه و رفرنس و اسکولار گوگل دارای جزییات زیادی مثل حق ثبت‌ها و مقالات علمی و نیزمجلاتی در زمینه مهندسی و علوم اجتماعی است. تحقیقی که در همین زمینه در ماه می / اردیبهشت انجام گرفت، نشان داد که مقالات هارزینگ در زمینه مدیریت بین‌الملل، به گفته تامسون‌رویترز 815 ارجاع داشته، درحالی که همین مقالات را اسکوپوس 952 بار و گوگل اسکولار 2226 بار دارای ارجاع دانسته‌اند.

پیش به سوی عادی‌سازی
کتاب‌سنجان (bibliometricians) ترسناک‌ترین اتفاق ممکن در ارزیابی بر پایه ارجاعات را تمایل بیشتر دانشمندان یک رشته نسبت به رشته‌های دیگر به ارجاع دادن می‌دانند. در این حالت است که شاخص اچ و یا شمارش ارجاعات او بالا می‌رود و این کار، مقایسه افراد را در دو زمینه علمی مختلف کاری مشکل می‌سازد. البته این مشکل نیز یک راه حل دارد: میزان ارجاعات محقق را به متوسط ارجاع در رشته کاری آن محقق تقسیم کنیم. اما باید گفت که این کار هم در عمل موفقیت چندانی نداشته است.

یک راه برای خلاصی از شر این مشکل، این است که اجازه دهیم خود ارجاعات، دسته‌بندی را تعریف کنند. درواقع این همان ایده‌ای است که در پس تلاش‌های بی شمار ی قرار دارد که در زمینه ساخت نقشه علم با استفاده از شبکه‌های به هم مرتبط ارجاعات به کار رفته است. البته به گفته وان رآن، استاندارد کردن این فرایند کار بسیار مشکلی خواهد بود. به گفته بالن چنین نقشه‌هایی نشان می‌دهند که چگونه مقالات تحقیقی در مرکز هر زمینه فعالیتی بخصوصی قرار دارند و به محقق اجازه می‌دهد تا اثبات کند کار وی باعث برقراری ارتباط بین دو موضوع شده است.

متخصصان کتاب‌سنجی اعلام کرده‌اند که یک نحوه ارزیابی برای بیان کمّی می‌تواند این باشد که ببینیم یک مقاله چند بار در کوتاه‌ترین مسیر بین 2 مقاله دیگر قرار گرفته و یا این که تعداد متوسط ارتباطات مورد نیاز برای این که از یک مقاله به مقاله دیگری برسیم چقدر است.

کمین سایبری
امروزه بسیاری از محققان ارزیابی به دنبال این هستند که خود را از تحلیل استنادی یا همان ارجاعات رها کنند. از آن جایی‌که در حال حاضر بسیاری از مقالات علمی به صورت آنلاین خوانده و ارزیابی می‌شوند، پس می‌توان واکنش‌های خوانندگان آن‌ها را د رمحیط سایبر و از طریق میزان دانلود و یا بازدید مجله و مقاله بررسی کرد. در حال حاضر انتشاراتی چون کتابخانه عمومی علم، آمارهایی را راجع به دانلود مقالات خود به همراه ابزارهای نشان‌گذاری ارائه می‌دهند و به این ترتیب، دانشمندان می‌توانند مقالات خوبی را که یافته‌اند، علامت‌گذاری کنند؛ البته این کار هم یک اشکال دارد و آن این‌که تاثیر یک مقاله علمی را فقط دانشمندان مشخص نمی‌کنند و عموم مردم می‌توانند در این کار شرکت داشته باشند. یکی دیگر از موانع موجود نیز این است که هنوز استانداردهای جهانی برای مجلات وجود ندارد تا بتوانند به وسیله آن فایل‌های اطلاعات مربوط به فعالیت کاربرانشان راگزارش کنند. اما COUNTER،یک کنسرسیوم متشکل از کتابخانه‌داران و ناشران آکسفورد، در حال کار برای دست‌یابی به چنین استانداردی تا سال 2012 / 1390 است.

با وجود تمام معیارها و استانداردهایی که برای سنجش و ارزیابی علمی افراد و مقالات وجود دارد، اما باز هم برخی از تحقیقات نشان می‌دهند که هنوز هم بسیاری از افراد به یک شاخص خاص تمایل دارند. علاوه بر این، مشخص شده که بسیاری از این معیارها وابستگی شدیدی به یکدیگر دارند. برخی دیگر از محققان نیز به بررسی این موضوع مشغولند که شاید ابزارهای جدیدی مثل نقشه‌برداری شبکه و یا کاربری آنلاین دیتا بتواند به آن‌ها کمک کند تا دانشمندان دیگری را که تمایلات کاری نزدیکی به آن‌ها دارند، پیدا کنند و یا این که مقالات مرتبط خود را سریع تر به دست دیگران برسانند و یا این که زمینه‌های نوآوری جدید را مشخص کنند.

منبع: نشریه نیچر، شماره 7300 - 17 ژوئن 2010