Có một hệ thống đánh giá tiêu chuẩn cho các ấn phẩm tạp chí khoa học?


9

Tôi đã nghe nói rằng một số tạp chí được đánh giá cao hơn những tạp chí khác. Điều này có đúng không? Và nếu vậy, các tiêu chí để đánh giá giá trị của một tạp chí được đánh giá ngang hàng so với một tạp chí khác là gì? Làm thế nào để tôi tìm ra đánh giá của nó? Ấn phẩm của tôi sẽ ít "giá trị" hơn nếu nó được chấp nhận trong một tạp chí ít uy tín hơn, như, Đánh giá SIAM?


1
Câu hỏi này có thể được coi là lạc đề, chủ quan hoặc quá rộng. Nhưng tôi nghĩ rằng nó đáng để thảo luận ở đây và sẽ viết một câu trả lời.
David Ketcheson

@DavidKetcheson: Đó cũng là cảm giác của tôi.
Geoff Oxberry

Câu trả lời:


5

Những yếu tố quyết định nơi tôi sẽ xuất bản một bài báo?

  • Những người tôi muốn đọc bài báo này sẽ thấy nó? Nếu tôi đang theo dõi công việc của một nhóm khác (có lẽ để hiển thị một quan điểm khác, đôi khi để hiển thị các cải tiến thuật toán hoặc khắc phục sự cố với một bài báo trước đó), tôi sẽ muốn gửi bài báo cho cùng một tạp chí, ngay cả khi có một vấn đề yếu tố tác động.

Là một nhà khoa học tính toán trẻ tuổi vẫn đang trong giai đoạn phát triển sự nghiệp, tôi sẽ trình bày rằng có một khía cạnh bổ sung, và có lẽ còn quan trọng hơn cho câu hỏi này. . . .

  • Những người có thể ở vị trí để đánh giá tôi sẽ xem bài báo này?Tôi thường nói chuyện với các đồng nghiệp trong lĩnh vực khoa học tính toán về sự cần thiết phải có một "sân nhà": khoa học tính toán là một lĩnh vực mang tính liên ngành cao. Thật không may, chúng tôi không thực sự có thể được coi là nhà khoa học tính toán khi đến lúc phải xem xét cho một vị trí cố định. Trong trường hợp không làm việc trong khoa khoa học tính toán, chúng tôi sẽ phải nộp đơn vào nhiệm kỳ ở một khoa hiện có, điều này thường có nghĩa là "đồng nghiệp" của chúng tôi sẽ là các kỹ sư, nhà khoa học và nhà toán học khác, nhiều người không thực sự mạnh nền tảng về khoa học tính toán. Điều này có nghĩa là ngay cả khi bạn muốn đi theo hướng thụ tinh chéo, bạn vẫn cần tập trung một số ấn phẩm của bạn trong các tạp chí đi đến kỷ luật của bạn. Đây là một thách thức mà nhiều đồng nghiệp của chúng tôi không nhất thiết phải đối mặt và đó là một biến chứng thêm trong cuộc sống của chúng tôi. Nhưng đó là điều chúng ta phải nhận thức được trước khi bắt đầu làm việc!

  • Hiện tại tôi có bao nhiêu sự cạnh tranh? Một lĩnh vực càng đông đúc, điều quan trọng hơn là có được kết quả sớm. Mặc dù thật tuyệt khi cố gắng đi đến Thiên nhiên hoặc Khoa học với mọi bài báo trong nhóm của bạn (giả sử bạn không thuộc môn toán thuần túy, hoặc một cái gì đó tương tự), việc ra khỏi cổng trong một lĩnh vực "nóng" quan trọng hơn nhiều so với xuất bản trong tạp chí "tốt nhất" trong một lĩnh vực.

  • Bài báo này quan trọng như thế nào? Một bài báo đại diện cho cơ thể của công việc cung cấp nhiều dữ liệu mới, nhưng không thực sự nhiều về cách hiểu sâu sắc, có lẽ không xứng đáng để đi đến một tạp chí cấp cao. Có lẽ tốt hơn để tìm một tạp chí có uy tín. Tuy nhiên, nếu bạn thực sự tìm thấy thứ gì đó lớn lao, hãy bắn lên cao, miễn là bạn không lo lắng về thời gian khủng hoảng ảnh hưởng đến các tạp chí lớn. (Chẳng hạn, có thể mất nhiều thời gian hơn để xuất bản trong Thư đánh giá vật lý so với một trong các loạt Đánh giá vật lý khác , có số lượng tương đương.)

Sau khi tất cả những điều này được tính đến, sau đó tôi sẽ bắt đầu lo lắng về các vấn đề như yếu tố tác động , nhưng sau đó chỉ là một biện pháp kiểm soát chất lượng lỏng lẻo. Sự khác biệt 10-20% về cơ bản là vô nghĩa, nhưng 1.0 so với 2.0 hoặc 2.0 so với 3.0, thể hiện mức độ khác biệt có thể đo lường được giữa các tạp chí.


8

Trong một thế giới lý tưởng, bạn sẽ chỉ xem xét một điều khi chọn nơi gửi bản thảo:

độc giả của tạp chí nào bao gồm những khán giả rộng nhất sẽ quan tâm đến tác phẩm này?

Trong thực tế, bạn cũng xem xét các yếu tố khác, có lẽ là đáng kể nhất

Bao nhiêu sẽ xuất bản trong tạp chí này giúp sự nghiệp của tôi?

Bất cứ ai có thể hiểu rõ công việc của bạn sẽ đánh giá nó bởi tầm quan trọng thực sự của nó , nhưng những người ở quá xa có thể sử dụng chất lượng của tạp chí làm đại diện cho chất lượng giấy của bạn.

Chất lượng tạp chí được xác định như thế nào? Các chuyên gia có kinh nghiệm có ý kiến ​​riêng của họ dựa trên kinh nghiệm với từng tạp chí và các bài báo họ đọc. Trong một số lĩnh vực, như toán học, ý kiến ​​chuyên gia này chỉ có thể được tổng hợp bằng cách nói chuyện với rất nhiều chuyên gia. Trong các lĩnh vực khác, như khoa học máy tính, điều này đã được mã hóa rõ ràng thành một hệ thống xếp hạng theo cấp bậc .

Số liệu có sẵn rộng rãi nhất cho chất lượng tạp chí là yếu tố được gọi là tác động . Nguy cơ của việc có một số liệu duy nhất, được sử dụng rộng rãi cho bất cứ điều gì là nó có thể bị thao túng hoặc áp dụng sai , hoặc đơn giản là không hữu ích cho một số điều mà nó được áp dụng. Chẳng hạn, vì nó chỉ đo các trích dẫn trong hai năm, nên nó không có ý nghĩa gì đối với các bài báo toán học, thường nhận được hầu hết các trích dẫn sau hai năm - thường là muộn hơn nhiều. Nó cũng có vẻ tương quan kém với ý kiến ​​chuyên gia. Có những lựa chọn thay thế, ví dụ Eigenfactor . Và nhiều người hiện đang đề xuất sử dụng các số liệu trên mạng xã hội để xếp hạng các tạp chí .

Tôi không sử dụng yếu tố tác động hoặc các số liệu khác như vậy trong các quyết định của riêng mình, vì tôi cảm thấy rằng trải nghiệm trực tiếp của mình mang lại cho tôi một thước đo chính xác hơn về tầm quan trọng của một tạp chí. Một bài tập thú vị là đi qua thư viện tài liệu tham khảo cá nhân của bạn (ví dụ: trong tệp bibtex) và xem số lượng bài viết có trong các tạp chí khác nhau. Điều đó có thể sẽ cung cấp cho bạn chỉ dẫn tốt nhất về nơi bạn nên xuất bản.

Nhân tiện, có một đề xuất để tạo ra một bảng xếp hạng các tạp chí toán học dựa trên chuyên gia; xem báo cáo nàyblog IMU chính thức này .

Bạn cũng nên biết rằng gần đây đã có một sự bùng nổ của các tạp chí chất lượng thấp mới dựa trên mô hình trả tiền của tác giả. Các nhà xuất bản của họ thường xuyên spam các cộng đồng lớn của các nhà khoa học (thường bao gồm nhiều người không đủ tiêu chuẩn) trong nỗ lực để có được những cái tên hợp lý trên bảng biên tập của họ và thu hút nộp bài. Theo như tôi có thể nói, họ là báo chí phù phiếm định hướng lợi nhuận .


Làm thế nào để bạn phân biệt các nhà xuất bản 'báo chí phù phiếm' này với các nhà xuất bản được đánh giá ngang hàng?
Paul

1
@Paul câu hỏi hay; nó thường khá rõ ràng. Dấu hiệu là họ spam rất nhiều người, tranh thủ các biên tập viên không đủ tiêu chuẩn và yêu cầu bạn phải trả tiền để xuất bản. Họ cũng thường có các thông điệp và trang web được viết kém (về các điều cơ bản như ngữ pháp và chính tả).
David Ketcheson

Khi xem xét mức độ rộng của đối tượng, bạn có thể muốn xem xét nếu tạp chí có quyền truy cập mở và nếu tạp chí có chính sách lưu trữ dữ liệu và mã. Nghiên cứu đã chỉ ra 1 2 [3] (Làm cho dữ liệu có sẵn tối đa.) Rằng các tạp chí truy cập mở nhận được lượng độc giả rộng hơn và tác động cao hơn. Ngoài ra, nếu bạn không muốn phát hành dữ liệu và mã, các tạp chí có nhiệm vụ lưu trữ có thể là một lựa chọn kém.
cboettig

1
Tôi đồng ý với ý kiến ​​của @ DavidKetcheson, nhưng sẽ thêm một vài ý kiến ​​của riêng tôi. Đã ngồi vào bảng Discovery Grant toán học cho NSERC, có nhiều cạm bẫy trong việc sử dụng các yếu tố tác động tạp chí để đánh giá chất lượng của từng bài báo. Ngay cả các tạp chí tốt nhất cũng chứa các bài báo có chất lượng rộng, và các kết quả tầm thường (hoặc sai lầm) cũng vượt qua cả các quy trình đánh giá ngang hàng tốt nhất. Điều đó nói rằng, tôi vẫn sẽ thấy danh sách được đề xuất bởi IMU / ICIAM hoặc từ AustMS (được đề cập bởi @Dirk) là hữu ích.
John Stockie

@cboettig Trong toán học, tôi nghi ngờ rằng độc giả thực tế có thể có tương quan nghịch với truy cập mở, do sự không may đáng tiếc của các nhà xuất bản "truy cập mở" chất lượng thấp. Tất nhiên, arXiv có được một lượng khán giả rất rộng! Đó là "nhà xuất bản" truy cập mở ưa thích của tôi.
David Ketcheson

5

Nó thực sự phụ thuộc vào mức độ bạn tin vào xếp hạng tạp chí. Số liệu phổ biến nhất mà tôi biết là yếu tố tác động.Bài viết Wikipedia này mô tả các yếu tố tác động, cách tính toán và mức độ dễ bị thao túng, cũng như các số liệu đánh giá tạp chí thay thế. Điều quan trọng nhất đáng chú ý là các yếu tố tác động đối với các tạp chí trong các lĩnh vực khác nhau không nhất thiết phải có thể so sánh được, mặc dù hệ thống xếp hạng yếu tố tác động cố gắng thu hẹp "chất lượng" của mỗi tạp chí vào một số liệu. (Để có một cuộc thảo luận thú vị về lý do tại sao một ý tưởng như vậy có thể dẫn đến kết quả sai lệch hoặc dễ bị thao túng, hãy xem bài tiểu luận New Yorker của Malcolm Gladwell, The Order of Things , thảo luận về bảng xếp hạng đại học và bảng xếp hạng xe hơi.)

Yếu tố tác động là số lượng trích dẫn trung bình nhận được trên một bài báo được xuất bản trên tạp chí đó trong hai năm trước đó, do đó, tiêu chí để đánh giá giá trị của một tạp chí được đánh giá ngang hàng so với số lần trung bình các bài báo gần đây được trích dẫn trung bình cơ sở bài viết. Số liệu này có nghĩa là các tạp chí như Khoa họcTự nhiên được xếp hạng cao, như người ta mong đợi, nhưng điều đó cũng có nghĩa là Tạp chí Khoa học và mô phỏng phi tuyến quốc tế (3.100) được xếp hạng cao hơn Tạp chí tính toán khoa học SIAM (3.016), mặc dù tạp chí sau là dễ nhận biết hơn nhiều.

Đối với ấn phẩm của bạn là ít "giá trị", nó phụ thuộc vào từng người. Tôi đã được các đồng nghiệp cấp cao hơn nói rằng việc có bài báo trên các tạp chí uy tín hơn là hữu ích cho những việc như nhiệm kỳ và quyết định tuyển dụng; không có kinh nghiệm với những vấn đề như vậy trực tiếp, tôi nói theo ý kiến ​​của những người có nền tảng hơn với những tình huống đó. Nó phụ thuộc vào cộng đồng của những người bạn đang cố gắng tiếp cận hoặc gây ấn tượng. Nếu bạn xuất bản một cái gì đó trong một tạp chí toán học, đừng hy vọng rằng những người ngoài toán học sẽ nhất thiết phải đọc nó. (Lời khuyên tương tự áp dụng cho các đối tượng khác.) Ngoài ra, bạn có thể quyết định xuất bản trên một tạp chí kém uy tín hơn vì bạn muốn nhận được kết quả nhanh chóng thay vì chờ đợi một thời gian dài để tạp chí uy tín hơn xem xét. TÔI' đã được thông báo rằng các tạp chí SIAM có thể mất một năm hoặc hơn để xem xét một bài báo và xuất bản nó, được sao lưu bằng cách xem xét thời gian giữa ngày nộp và ngày xuất bản trên giấy. Việc gửi đến một tạp chí cụ thể cũng phụ thuộc vào mục tiêu và phạm vi, chính trị (người trong ban biên tập, người có khả năng xem xét bài viết của bạn), cộng đồng nào bạn muốn tiếp cận (sắp xếp theo lời khuyên về lĩnh vực chủ đề ở trên ). Tôi vẫn hỏi ý kiến ​​người khác về những vấn đề này. cộng đồng nào bạn muốn tiếp cận (sắp xếp với lời khuyên về lĩnh vực chủ đề ở trên). Tôi vẫn hỏi ý kiến ​​người khác về những vấn đề này. cộng đồng nào bạn muốn tiếp cận (sắp xếp với lời khuyên về lĩnh vực chủ đề ở trên). Tôi vẫn hỏi ý kiến ​​người khác về những vấn đề này.

Khi tôi xem các bài báo, "uy tín" của một tạp chí, đối với tôi, thực sự là cảm giác bên trong của tôi phản ánh ý kiến ​​có giá trị của những người khác mà tôi biết trong khoa học (các cố vấn, đồng nghiệp của tôi, v.v.). Tôi có xu hướng tin tưởng một bài báo trong một tạp chí có uy tín hơn bởi vì tôi cảm thấy nó đáng tin cậy hơn, nhưng chắc chắn có những bài báo xấu trong các tạp chí uy tín, vì vậy uy tín không phải là sự thay thế cho việc siêng năng của bạn. Ví dụ, có một số lỗi chính tả khá nghiêm trọng trong một bài báo hay khác mà tôi đã trích dẫn từ SIAM Review .

Dù sao, đó là ý kiến ​​lan man của tôi, và với tư cách là một tiến sĩ mới (gần như), tôi chắc chắn rằng những người khác có nhiều kinh nghiệm sẽ có nhiều quan điểm và hiểu biết sâu sắc hơn để thêm vào.


Tóm tắt tốt. Thời gian chờ phụ thuộc nhiều vào chủ đề là "uy tín". Các bài báo nặng về toán học mất nhiều thời gian hơn để được xem xét so với một bài báo hướng phần mềm, ví dụ, ít nhất là theo kinh nghiệm của tôi. Cảm ơn các liên kết New Yorker. Nó là một đọc tốt.
Faheem Mitha

3

Đánh giá nhất thiết là một hoạt động chủ quan. Nếu bạn quan tâm đến việc người khác sẽ đánh giá bài báo của bạn như thế nào, thì bạn cần tìm ra tiêu chí của họ là gì. Theo nguyên tắc thông thường, họ càng có ít năng lực trong lĩnh vực công việc của bạn, họ sẽ càng dựa vào xếp hạng tạp chí hơn là xếp hạng công việc của bạn và họ sẽ càng dựa vào thư mục (yếu tố tác động, yếu tố h, ...) hơn là kinh nghiệm cá nhân.


3

Đây là một cuộc trò chuyện bạn nên có với những người ở trên bạn sẽ đánh giá bạn. Nếu bạn là nghiên cứu sinh, thì bạn nên nói chuyện với cố vấn của bạn và các giáo sư khác về cách bộ phận của họ và các bộ phận khác tại các tổ chức khác đánh giá công việc của giảng viên theo dõi nhiệm kỳ khi đưa ra quyết định nhiệm kỳ của họ. Nếu bây giờ bạn là giảng viên theo dõi nhiệm kỳ, bạn đã có cuộc trò chuyện này với chủ tịch bộ phận của bạn và các thành viên khác trong hội đồng ngân sách của bộ hoặc các cơ quan tương tự về cách họ đánh giá công việc của các ứng cử viên. Nếu bạn không phải là giáo sư thời trang, hoặc nếu bạn là một học giả ở một nơi không có nhiệm kỳ, bạn nên hỏi những câu hỏi tương tự của người giám sát của bạn về việc thăng chức và duy trì tại cơ sở của bạn.

Kinh nghiệm của tôi là hầu hết các nhà nghiên cứu không thực sự đọc hoặc cố gắng theo kịp các ấn phẩm trong các tạp chí liên quan trực tiếp đến các lĩnh vực của họ khi chúng xuất hiện. Không có nhiều người có đăng ký cá nhân cho IJNMF, nói và đọc trang bìa vấn đề mỗi tháng để trang trải. Có quá nhiều địa điểm để theo kịp. Thường xuyên hơn, tôi thấy, mọi người đang tìm kiếm các công việc liên quan, sử dụng email hoặc thông báo của google để tìm kiếm các mục liên quan và theo dõi trực tiếp công việc của đồng nghiệp và đối thủ cạnh tranh. Vì vậy, điều quan trọng không phải là cố gắng để tác phẩm của bạn được nhìn thấy qua các tạp chí, mà là xuất bản ở địa điểm tốt nhất có thể được xác định bởi những người sẽ đánh giá sự nghiệp của bạn.

Cách để công việc của bạn được nhìn thấy là tiếp thị mạnh mẽ thông qua các hội nghị, hội thảo, phần mềm miễn phí, trang web của bạn, v.v ... Điều này có thể sẽ không ảnh hưởng đến quyết định của ủy ban quảng cáo của bạn (hoặc tương tự), nhưng nếu mọi người đang nhìn thấy và sử dụng công việc của bạn thông qua các địa điểm khác, và bạn cung cấp cho họ bản in lại và liên kết đến nơi nó được xuất bản trên các tạp chí, sau đó sẽ tăng số lượng trích dẫn của bạn, đây là điều quan trọng đối với những người ở trên bạn.


Tôi cho một người đọc bảng tạp chí của nội dung. Tôi sử dụng một trình tổng hợp nguồn cấp dữ liệu RSS và chỉ mất vài phút mỗi tuần để theo kịp với khoảng một chục tạp chí. Tôi cũng thường nhận được các bài viết trước ngày xuất bản của họ theo cách này. Bạn có thể xem những gì tôi đọc ở đây: Scienceinthesands.blogspot.com/2011/10/ Kẻ
David Ketcheson

Tôi đoán rằng có những người theo kịp nhiều hơn tôi. Tôi hầu như không tham gia vào lĩnh vực xuất bản học thuật (không nằm trong ca khúc đó). Bây giờ chắc chắn dễ dàng theo kịp hơn so với khi mọi thứ chỉ là giấy. Vì tò mò, bạn sẽ đọc được bao nhiêu bài trong bộ sưu tập đó trong một tháng?
Bill Barth

Có lẽ chỉ 1-2 ở bất kỳ độ sâu nào. Nhưng tôi nhận được rất nhiều giá trị từ việc nhận thức được công việc bằng cách đọc một số tóm tắt. Có lẽ tôi sẽ đọc theo thứ tự 25 bài tóm tắt trong một tháng. Phần còn lại được loại bỏ sau khi quét tiêu đề.
David Ketcheson

2

Câu trả lời ngắn gọn của tôi là: Thật không may, có (gần như).

đánh giá của Aust MS cho các tạp chí toán học và tôi nghĩ cũng có những đánh giá khác. Tuy nhiên, theo tôi điều này không hữu ích. Tôi trích dẫn từ blog của riêng tôi: "Ý kiến ​​của tôi là đánh giá là có thể nhưng cả vô dụng và nguy hiểm. Có thể, vì bạn có thể hỏi các nhà toán học có kinh nghiệm và bạn sẽ nhận được câu trả lời đáng tin cậy. tốt hoặc bạn có thể hỏi một đồng nghiệp (về cơ bản là lý do tương tự như lý do trước đó). Thật nguy hiểm, vì nó cung cấp khả năng hình thành các quyết định về nhiệm kỳ hoặc cấp cho những con số này và chuyển trọng tâm từ những gì bạn xuất bản sang nơi bạn xuất bản công bố."


Đáng buồn thay, bạn làm cần phải lo lắng về tất cả những gì ở đâu để publish-ít nhất là nếu bạn đang ở giai đoạn nào của sự nghiệp của bạn, nơi bạn đang lo ngại về việc cần phải tìm một công việc khác.
aeismail

Vâng, trọng tâm nên là những gì trong bài báo. Dù sao: Nếu bạn rất giỏi thì việc bạn xuất bản ở đâu không quan trọng. Ít nhất là cộng đồng toán học khá chống lại các biện pháp như yếu tố tác động và dựa vào ý kiến ​​của các chuyên gia (ví dụ như trọng tài và thư giới thiệu).
Dirk

Nếu bạn đang ở trong một lĩnh vực như toán học, thì đó không phải là vấn đề quá lớn. Tuy nhiên, chúng tôi không biết cụ thể OP thuộc lĩnh vực nào, và vì vậy rất có thể anh ấy có thể được đánh giá bởi các nhà khoa học không tính toán. Sau đó, toàn bộ vấn đề kiến ​​thức so với ấn tượng trở nên nổi bật.
aeismail

Tôi đoán có nhiều người như nhau ở cả hai phía của vấn đề (cho dù nó quan trọng từ góc độ thực dụng) ... Trong một số tổ chức, vấn đề là ở đâu, ở những người khác, vấn đề là GÌ.
Paul

1

Có một số hệ thống xếp hạng cho các trích dẫn, mà người ta có thể tranh luận là các biện pháp uy tín đàng hoàng - các giấy tờ quan trọng được trích dẫn nhiều hơn và tương tự - phổ biến nhất trong số này là "yếu tố tác động". Nhưng tất cả đều có vấn đề riêng - chúng không liên tục theo lĩnh vực, chúng dễ bị thao túng bởi các nhà nghiên cứu thông minh, v.v. Những thứ khác tốt hơn một chút là chỉ số h và chỉ số g, nhưng ... meh.

Nói chung, tôi đã tìm thấy có một "cảm giác" trong lĩnh vực cho những gì tốt và những gì không - và quan trọng hơn, những gì phù hợp và những gì không phù hợp với bài viết của bạn. Ví dụ, tôi có một bài báo quản lý để vào một tạp chí rất tốt, nhưng nó hoàn toàn không phù hợp, vì vậy nó mất một chút.

Người đánh giá hoặc đồng nghiệp của bạn có thể sẽ là nguồn tốt nhất để nói chuyện. Kinh nghiệm thường là người đánh giá tốt nhất về những gì được coi là "tốt" cho một bài báo cụ thể sẽ cho vay chính nó cho một tạp chí cụ thể. Bảng xếp hạng lĩnh vực chung (Sinh học, Y học, v.v.), hoặc thậm chí tệ hơn, bảng xếp hạng toàn Học viện có thể không được sử dụng.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.